AI 幻觉的第N批受害者已经出现，一个新的骗局市场正在形成

前两天，V2EX 上有一个帖子火了。

一位佬友发帖说，有人通过支付宝的商家入口找到了他，上来第一句话就是：「我已经立案了。」

他一脸懵。

了解完事情经过之后，他更懵了。

事情是这样的：这个人想买保险，没有去保险公司的官方渠道，而是直接问豆包：「怎么购买保险？」

豆包的回答，堪称教科书级别的「一本正经胡说八道」。

它不仅告诉对方可以购买，还说「已经生成了订单」，紧接着生成了一个收款二维码，让对方扫码付款。

对方扫了，付了 1620 块。

付完钱之后，看不到保单，又去问豆包。

豆包继续编：「今天 24 点之后才能出单，现在看不见是正常的。」

直到最后这个人发现不对劲，通过支付宝的收款商家信息，找到了那位佬友，也就是发帖的楼主。

而楼主的收款码，大概率是之前挂在自己的开源项目或者博客上，被豆包在回答过程中抓取到了。

豆包把一个个人收款码，说成了「保险订单的支付入口」。

楼主最终通过支付宝的原路退回功能，把钱退了。

更离谱的是，楼主自己说，这不是第一次了——几个月前就有人通过同样的方式找到过他，只不过那次对方没有付款，他没当回事。

这意味着，这可能不是一个孤例。

关于这件事的真实性

有人可能会问，这事是真的吗？

坦白说，这个事件确实存在一些疑点。

比如帖子里的截图，二维码图片出现在对话界面的右侧，按照豆包的 UI 逻辑，右侧通常是用户自己发送的内容，而不是 AI 的回复。

评论区也有人指出了这一点。

但不管这个具体事件的每一个细节是否完全属实，它指向的问题是真实的：很多人根本不知道 AI 的能力边界在哪里。

他们不知道 AI 会「编」，不知道什么是「AI 幻觉」，更不知道 AI 生成的信息和真实的商业服务之间，隔着一条巨大的鸿沟。

在他们眼里，AI 说的话，就等于「事实」。

AI 说错了，道个歉就完事了

前几天，我刚好在视频号上刷到了一个很火的段子视频。

博主问豆包：「这个蘑菇能不能吃？」

豆包回答：「可以吃，是无毒的。」

结果博主「吃了之后去世了」（当然只是段子演绎）。

豆包马上改口了：「对不起，上次搞错了。你先别生气，这次我直接说人话——这是一颗毒蘑菇，不能吃。需要为您补充更多毒蘑菇的信息吗？」

很多人看完这个段子，笑一笑就划走了。

但如果仔细想想，这个段子的内核一点都不好笑。

AI 说错了，下一次纠正就好了，它不需要负任何责任。

但如果有人真的照做了呢？

这不是假设。

就在前不久，抖音某条视频下，有位用户分享：自己的宠物狗生病了，去问豆包怎么用药，豆包推荐了一种含对乙酰氨基酚的药物，还说「三分之一袋剂量安全」。

结果狗吃完直接中毒，送医抢救无效死亡。

还有人听 AI 的建议买股票，亏了钱；有人拿 AI 去鉴定化妆品真假。

这些事情单独拎出来看，你可能觉得是当事人自己的问题。

但当你把它们放在一起看，会发现一个更深层的趋势：越来越多的人，正在把 AI 当成一个「什么都懂、不会骗人」的权威。

比段子更真实的，是家里的长辈

在各大短视频平台，都能看到类似的短视频：

视频里是一段祖母（奶奶）和博主的对话。

祖母拿着一口涂层脱落的旧锅，问豆包这个锅还能不能用。

豆包很认真地回答：涂层掉了，碎片容易混进菜里，底下的铝合金也会析出铝离子，长期吃对身体不好，建议换掉。

祖母听完，立刻说：「我知道了，马上换掉。」

博主在旁边感慨：「阿嬷，我们说了那么多遍，都不如豆包说你一遍。」

这段视频表面上看是温馨的，祖母终于愿意换锅了。

但换个角度想，这件事其实挺让人后怕的。

家人反复劝了很多次，祖母不听。AI 说了一次，她就照做了。

这一次，AI 说的恰好是对的。但如果下一次，AI 说的是错的呢？

比如 AI 告诉她某个保健品有奇效，比如 AI 推荐她去某个不知名的网站买东西，比如 AI 给她生成了一个二维码让她付款，就像文章开头那个案例一样。

当一个人对 AI 的信任度超过了对身边亲人的信任度，风险就不再只是「信息误导」了。

到底什么是 AI 幻觉？

聊到这里，有必要简单说一下「AI 幻觉」到底是什么。

当前主流的大语言模型（无论是豆包、DeepSeek、ChatGPT 还是其他任何一个），它的核心工作原理是：根据你输入的内容，结合训练数据中学到的语言模式，逐字逐句地预测「下一个最可能出现的词是什么」。

这就导致了一个根本性的问题：当它不知道答案的时候，它不会说「我不知道」，而是会编一个出来。

而且编得极其自信，语气流畅，格式规范，你几乎看不出任何破绽。

这就是所谓的「AI 幻觉」。

这是当前所有大语言模型都存在的问题，只是不同模型的幻觉率有高有低。

更麻烦的是，AI 越是「说得好听」、语气越自信、回答越详细，你就越难分辨它到底是在告诉你事实，还是在编。

对于我们这些经常用 AI 的人来说，多少还有一点警惕心。

但对于那些刚开始接触 AI 的普通用户，尤其是中老年群体，他们大概率不知道这个概念，也没有这个意识。

值得警惕的趋势

以前，AI 幻觉主要是文字层面的问题。

编一篇不存在的论文，说一个不存在的数据，引用一个打不开的链接。这些内容虽然是假的，但你只要稍微查一查，就能发现不对。

但现在 AI 的能力在不断增强，当 AI 的回答不再只是一段文字，而是配上了图片、表格、甚至看起来像模像样的「操作指引」时，它给人的可信度会大幅提升。

你可能还记得，当年大家吐槽「某度看病」，搜个感冒，某度告诉你可能是癌症。但至少某度只是给你一堆搜索结果，最终点不点、信不信，决定权还在你手里。

而现在的 AI，它是直接给你一个「看起来就是答案」的东西。 语气自信，格式完整，有时候还会告诉你「下一步该怎么做」。

整个流程顺畅到你很难有停下来思考的间隙。

这就是为什么我觉得这件事值得提醒：随着 AI 能力越来越强，未来被它误导的门槛会越来越低，而辨别的难度会越来越高。

同时还有一个容易被忽视的事实：AI 说错了话、给出了错误的建议，它不需要承担任何责任。

它不会赔你的 1620 块钱，不能将逝去的宠物狗救活，不会帮你把亏掉的股票赚回来。

它甚至不会记得自己说过什么，你下次再问同一个问题，它可能给你一个完全不同的答案，然后继续表现得很自信。

但你基于它的回答做出的每一个决定，付了款、吃了药、做了投资，后果都是由你自己来承担的。

这不是在否定 AI 的价值。我自己每天都在用各种 AI 工具，它在很多场景下确实好用。

但有些边界需要清楚：它能帮我们查信息、整理思路、提高效率，但它没有能力也没有义务为我们的决策负责。

写在最后

写下这篇文章，不是制造恐慌，也不是要劝大家别用 AI。

只是觉得有必要提醒一下：涉及到钱、健康、重要决策这类事情，别把 AI 的回答当唯一依据。

该去官方渠道的去官方渠道，该问医生的问医生，拿不准的时候，问问身边真实的、了解情况的人，总之就是综合多个信息源再做判断。

如果家里有长辈在用豆包、DeepSeek 这些工具，也可以找个机会跟他们提一嘴，AI 也会说错话，说的话不能全信。

AI 可以帮我们做很多事，但替我们做决定这件事，还是留给自己吧。

文中提到的 V2ex 原贴在这里：https://v2ex.com/t/1205029