在过去的一年里,各大模型厂商都一直在努力增加大语言模型的context window,从最初ChatGPT的8,000 个tokens,扩展到后来的 16,000 个,再到后来GPT4刚出来时的3万2千个,后来又出了12万8千个tokens的,再后来就是Gemini搞出个一百万个的,然而,这些大模型厂家没有跟我们说的是,尽管模型的上下文窗口不断扩大,但模型本身的输出仍然受到限制...