
于赓哲教授发微博“吐槽”AI大模型引用史料时出现伪造。
今年2月初,大量关于“宁波上市公司慈星股份入股DeepSeek”的消息在互联网上传播,成为豆包、Kimi等AI大模型援引的素材。2月21日,慈星股份在投资者互动平台进行了澄清——“公司及子公司均未参与DeepSeek的投资,敬请广大投资者注意甄别网络信息源头,注意投资风险”。
2025年开年,以DeepSeek为代表的AI大模型,正涌向千行百业。宁波人工智能超算中心、甬兴证券、均胜电子等政务机构和头部企业,纷纷宣布接入DeepSeek。然而,技术是一把双刃剑,当AI成为虚假信息的“扩音器”,我们该如何去伪存真?面对AI可能带来的数据污染等风险,我们能做些什么?
你的AI可能出现“幻觉”
眼下,不少网友都将生成式AI工具当作写文案、写代码、制作图表的“工作助手”。但大家在使用中也发现,AI有时会“一本正经地胡说八道”,在看似正确的句子中,插入一些根本不存在的错误细节,令人真假难辨。这种现象被科研人士称为“AI幻觉”(AI Hallucinations)。
比如,记者将自己撰写的新闻稿《全球人形机器人产业链100强榜单公布,5家甬企上榜》链接给到DeepSeek,让它据此写一篇宁波人形机器人产业发展情况的1000字左右稿件。尽管记者强调要“仔细核对企业名称、政策文件等相关事实”,但它依然“发明”出足以以假乱真的信息。
它先是把管理总部在杭州的企业双环传动,当成了宁波企业——这种“低级错误”相对容易察觉。但更棘手的是,它有模有样地编造出一份“政府文件”,写道“宁波市政府于2024年3月发布《人形机器人产业发展三年行动计划》,提出构建‘一核两翼三基地’的空间格局”,这就需要花精力确认了。
记者查询宁波市政府网站,发现这份计划并不存在。但“假中有真”的是,2024年11月,宁波市经信局确实就《宁波人形机器人产业创新发展行动方案(2024-2027年)》公开征求过意见。至于“一核两翼三基地”的表述,也并未出现于这份征求意见稿,倒是和《宁波市国土空间总体规划(2021-2035年)》里“一体两翼多组团、三江三湾大花园”的提法有异曲同工之妙。
这还只是“冰山一角”。不难想象,一旦这些“AI幻觉”的产物,未经核实就被搬上互联网,势必会误导公众,甚至会“污染”更多AI大模型的信息源,形成恶性循环。
在金融领域,已有股市“黑嘴”故意传播错误的“AI答案”,扰乱市场交易秩序。据财联社报道,此次“慈星股份入股DeepSeek”的谣言背后,就疑似存在有人炮制假消息后,再在各个平台分散传播,误导AI给出错误答案,再诱导欺骗投资者的“信息陷阱”。
在法律领域,据路透社报道,有美国律师利用AI,在法律文件中援引虚假的判例,而最终并受到处罚;在文化领域,陕西师范大学历史文化学院教授于赓哲发微博称,AI大模型把册立秦王李世民为太子的诏书“移花接木”成晚唐时期的诏书,“关键是它文言文写得很好,你还看不大出来”;而在医学领域,AI可能提供错误的诊疗建议,危及患者健康……
如何去伪存真?
为何会出现“AI幻觉”?在业内人士看来,一方面,这可能是由于“投喂”给AI的训练数据,本身就存在模糊或谬误;另一方面,哪怕训练数据准确无误,“AI幻觉”也无法被杜绝,因为大语言模型生成内容时,遵循的是“概率最大化”原则,而不是基于对真实世界的逻辑推理。
“市面上的AI大模型,都是通过文字之间的统计关系做‘接龙’,来‘预测’这个字出现后,下一个字是什么。所以它的行文框架会很‘漂亮’,但填充的内容不一定是对的,它有可能会‘猜错’,将训练数据的小错误越‘滚’越大;也可能会为了保持对话的连贯,‘自由发挥’出似是而非的答案。”宁波钧奕智能有限公司创始人吴大钧告诉记者。
既然“AI幻觉”在短期内无法“根治”,普通人该如何降低它的负面影响?
在国研软件创新研究中心主任李栋看来,在使用AI辅助工作时,用户需随时保持警惕,尤其是AI引用的案例和数据部分,因为这往往是“幻觉”的“高发区”,“以撰写调研报告为例,文章的框架和文字的润色可以参考AI,但查阅具体案例和数据时,我们都有责任把好第一道审核关,如核实信息是否来自于政府官方网站、上市公司公告等权威渠道。”
作为资深IT从业者,吴大钧提出如下建议,首先是优化提问,交叉认证,“我们可以告诉AI‘要根据事实来回答,如果你确实不知道,请如实告知’,并追问AI的消息源‘是否有出处’,或者多找几个大模型,就同一话题多方求证。”
其次是本地化部署,调整参数,“包括我们公司在内的许多宁波企业,都已对DeepSeek等AI大模型进行本地化部署,以提升数据安全和运行效率。这里面有一项叫‘Temperature’的参数,它的数值越接近于1,创造性就越强,‘幻觉’也越重;越接近于0则相反,用户可根据需求自行调整。”
此外,对有条件的企业来说,建立知识库,再使用搜索增强事实评估器(SAFE)等工具辅助信息核查,也是有效减少“AI幻觉”的办法。
诚如清华大学新闻与传播学院副教授陆洪磊所说,“AI正在重塑网络信息的传播生态,我们正面临一场前所未有的信息真实性‘战争’”。“AI谣言”的治理,需要互联网平台、执法机构、广大网民的共同努力。对于AI输出保持理性的思考与谨慎的态度,或许是这个时代必备的数字生存技能。
宁波晚报记者严瑾
编辑: 杨丹纠错:171964650@qq.com

中国宁波网手机版

微信公众号