
2023 年,纽约两位律师交给法庭的文件里,好几个判例是 AI 编的,法官罚了 5000 美元。大模型为什么会一本正经地胡说?因为模型本身不是在查资料库,而是在接龙:算下一个词最可能是什么。常见事实概率集中,答对;冷门事实训练数据里只见过一次,它手里没有答案,接龙却不会停,照样凑出一个日期、一个案号——语法对、语气肯定、内容是编的。更麻烦的是,训练和评测像考试:答对得分、答错零分、说"不知道"也是零分,瞎猜反而划算。这不是某款产品的毛病,是训练方式的副作用;改评分规则能让它学会说"不确定",而我们自己能做的更简单:数字、日期、引文、案号,让它给出处,再自己查一遍。 图片:Mata v. Avianca, Inc., No. 22-cv-1461 (PKC)(S.D.N.Y.),ECF 54《Opinion and Order on Sanctions》第 1 页(美国联邦法院文件,公有领域)。照片已裁切、推拉、压暗并叠加文字与示意图形。机制动画与音乐为原创。配音为 AI 合成。 #人工智能 #大模型 #AI幻觉 #科普 #ChatGPT