在 DigitalOcean 上部署 Flatcar Container Linux + LLM
前言
之前在 Flatcar 的系統擴充元件提了兩個 PRs,讓 WasmEdge 與 LlamaEdge 能以 sysext 的方式在 Flatcar 被部署時,一起被安裝在裡頭。因為跟 DigitalOcean 發生了一些事,因此決定留下筆記以後,準備遷移到 Azure 或其他友善的平台。
本文將涵蓋:
- 如何建立屬於你的 Flatcar Sysext(系統擴充元件)。
- 如何在 DigitalOcean 上新增 Flatcar Container Linux 的客製化映像檔案。
- 如何在 DigitalOcean 上部署 Flatcar Container Linux。
- 如何執行 Wasm 的應用程式(利益揭露,我是 WasmEdge 的維護者)。
- 如何部署大語言模型(LLM)在 Flatcar Container Linux 上,使用 LlamaEdge 為例。(利益揭露,這個專案會編譯成 Wasm 格式,並執行在 WasmEdge 之上)。