AI

BIZON 拿自家 B300 整机跑 Kimi K3，8 张卡每张 280GB 显存，才装得下 1.6TB 的权重，用的是 vLLM 后端。单用户 100 tok/s，32 路并发掉到 64，64 路总吞吐约 3000 tok/s，128 路还有 38，功耗从 596W 顶到 700W，满载温度五六十度。数字扎实，但这是厂商自测，没有竞品对照，价格也只说"不便宜"。想知道 1.6TB 的模型多能吃硬件，这期能看个大概。来自：BIZON如果不想自己跑，也可用试试TokenUs点net 提供的 3.5折 kimi k3.#B300服务器 #KimiK3 #大模型推理 #vLLM #抖音精选app征稿中