run-llm.sh 脚本是一个命令行工具,用于让你快速在本地设备使用 CLI 和与 OpenAI 兼容的 API 服务器运行开源大型语言模型(LLMs)。这个命令行应用程序会自动下载并安装 WasmEdge runtime、模型文件以及用于推理的可移植 Wasm 应用程序。用户只需按照命令行提示选择所需的选项即可。推理APP仅2MB。零 python 依赖。 用 Rust + Wasm 在本地运行 LLM。快来在自己的Mac试试吧 按照提示安装 WasmEdge Runtime 并下载你喜欢的开源大模型。然后,你将被询问是否希望通过命令行界面或通过 web 界面与模型进行交流。run-llm.sh 脚本是一个命令行工具,旨在在各种设备上本地运行开源大型语言模型 (LLM)、聊天界面和 OpenAI 兼容的 API 服务器。