大模型应用的基础设施：用 Serverless Rust 和 Wasm 开发LLM应用

Michael Yuan, CNCF WasmEdge Runtime的创始人/维护者 本演讲为2023年7月8日WasmEdge在北京举办的云原生开源AI基础设施Meetup LLM如ChatGPT类似于没有记忆、感官或手部的大脑。API和插件使开发者能够为LLM添加这些关键功能。OpenAI插件和函数模板的普及表明了对此类服务的巨大需求。然而，当前的LLM插件通常建立在复杂的云本地基础设施之上，这些基础设施旨在为完整的服务（如VM，Linux容器和k8s集群）提供支持。这些基础设施对于大多数作为LLMs和外部服务之间轻量级链接的插件/无服务器应用来说过于繁重。Wasm已成为引人注目的轻量级、可移植和安全的运行时，适用于此类函数。 将讨论WasmEdge社区如何利用和构建Wasm容器基础架构，用于LLM插件。应用场景如研发管理、DevRel、市场营销自动化👉flows.network