Groq LPU 速度最快的 AI 推理芯片 | 硅谷新贵 | 为一切 LLM 提速

这家初创公司在其官网明确的表达了他们的初衷和愿景。Grok: to understand profoundly and intuitively。 这是美国作家罗伯特·海因莱因在1961年的科幻小说《异乡异客》中创造的新词。最确切的翻译应该就是“心领神会”。Groq 发布的 LPU 运行的大语言模型拥有闪电般的响应速度。由 Groq LPU 驱动的 Meta Llama 2 模型，推理性能遥遥领先，是顶级云计算供应商的18倍。能在7分钟内就生成与莎士比亚《哈姆雷特》相同数量单词量的文章，比普通人的打字速度快 75倍。同时用 Gemini、GPT-4 和 Groq 完成同一个代码调试问题。结果显示，Groq 的输出速度比Gemini快10倍，比GPT-4快18倍。 00:00 Groq 发布 01:16 Groq 公司与产品 03:13 Groq 芯片特点 与Nvidia 对比 06:07 Groq API and Groq Labs 07:13 结论