AI 幻觉指 AI 在没有真实依据的情况下,生成一段看起来非常自信、逻辑通顺,实际上却是不准确甚至完全凭空捏造的内容,比如编出一个不存在的统计数字、一条打不开的链接、一篇根本没发表过的报告。
AI幻觉是怎么发生的
AI 生成内容的本质是根据已经学到的语言规律,预测接下来最可能出现的词句,而不是先去核实这件事是不是真的发生过。当它手头没有确切依据、又必须给出一个回答时,就容易"编"出一个听起来合理的答案来填空,这也是为什么幻觉往往出现在细节非常具体、但 AI 又缺乏真实信息支撑的地方。
什么内容最容易踩坑
越具体的事实性内容越容易踩坑:精确到小数点的数字、看起来正规的链接、引用某篇报告或某个人说过的话,这些内容 AI 说得越肯定,反而越需要留个心眼。相反,一段泛泛而谈的观点性文字,出现幻觉的风险相对低一些,因为它本身就不依赖具体事实支撑。
怎么防范AI幻觉
防范 AI 幻觉最直接的办法是对涉及具体数字、链接、引用来源的内容做人工核实,而不是看着通顺就直接采用。批量用 AI 生产内容时,可以把"核实关键事实"作为固定的人工审核环节,专门盯着这些最容易出问题的地方,而不是等内容发出去之后被读者或客户发现错误。