Mistral AI与NVIDIA 合作推出的128K长上下文大模型Mistral NeMo

Mistral NeMo 以其扩展的上下文窗口为特点，这使得模型能够处理和理解的文本量超过许多竞争者。这种扩展的能力特别适合于处理冗长的文档、复杂的分析或编码任务，可能减少了频繁刷新上下文的需求，从而产生更连贯一致的输出。 此外，Mistral NeMo 使用了一个新的基于 Tiktoken 的分词器 Tekken，它经过 100 多种语言的训练，能够更有效地处理自然语言文本和源代码。这使得模型在多语言任务上表现优异，尤其是在处理包括英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等语种时。