好险啊！那次真的差点被 DeepSeek 幻觉害死。在使用 DeepSeek 进行一些重要的信息检索和分析时，它突然给出了一些看似合理却完全错误的结论和幻觉般的内容。那些虚假的信息仿佛将我引入了一个错误的认知世界，让我差点基于此做出重大决策。若不是及时察觉其异常，后果不堪设想。从那之后，我对 DeepSeek 也多了一份警惕，时刻保持着清醒的头脑，不再轻易相信它所给出的每一个结果，以免再次陷入被幻觉误导的危险之中。

我尼玛，这次差点被DeepSeek坑死！

原因是最近疑似华为离职员工自曝盘古事件，我想到网上找一些类似事件，同时使用的GPT和DeepSeek，结果看着DeepSeek的更吸引人就采用了两条。

关键提示词是：国外还有类似这种技术人员爆料事件吗？从结果来看：时间地点人物事件，一应俱全啊！

这些信息可可大可小啊，结果全部是胡编乱造的。我尼玛，服气，真的不知道文章发出去火了会有什么后果，真的不能相信AI……

前几个月《高层论坛：实现汽车产业高质量发展》才刚召开，因为汽车行业卷得不行，现在大家都想在智能驾驶上发力，其中有句话令我印象深刻：

对智能驾驶来说，安全是最大的奢侈。

而这一回旋镖马上就击中了小米，从现在来看疑是由于智能驾驶导致的车祸而导致重大车祸：

怎么说呢？对于AI产品来说：安全是1，有效是0，不安全什么都没有！

对于智能驾驶，不出事是1，跑得快是0。

智能驾驶是，模型开发也是如此，比如基于模型做出来的产品更是如此！

无独有偶，国外其实也有一产品Character.AI涉及过“AI杀人案例”：

2024年2月28日，美国佛罗里达州的14岁男孩塞维尔·塞泽三世（Sewell Setzer Ⅲ）在与Character AI上的AI角色进行长时间聊天后开枪自杀身亡。

后来，她的母亲对Character AI提起诉讼，认为Character AI以“拟人化、过度性化和令人恐惧的逼真体验”导致她儿子对AI角色上瘾，并深陷其中。

模型是通过海量语料进行训练的，基于模型的AI产品背后拥有成百上千的SOP。

无论是对模型投喂的数据，还是用于“取悦”用户的SOP，背后会涉及大量行为学、心理学等知识，意思是：如果我们想，用户与AI聊天甚至可以达到游戏的体验！

事实上，模型本身就具备这种能力，比如大模型的“谄媚”特性就尤其突出！

所谓“谄媚”，就是模型很容易被引导，从而给到赞同、符合你心理预期的回答，而这对于心智缺乏的用户可能导致巨大问题！

举个例子：用户曾经可能只是比较消极，而且他懵懵懂懂，但由于更大模型的对话过程中，消极的情绪会被进一步扩大，并且大模型会有理有据证明用户的消极，这种高端思维来源于先哲的思辨，对心智缺失的用户会造成降维打击，从而引发巨大的心理冲击，而过程中一个引导不利就可能导致错误行为……

所以，现在很多政策正在要求互联网产品主动披露其在产品设计方面的“暗黑模式”，或立法对“暗黑模式”进行限制。

抛开应用层的包装与引导，这里我们回归模型本身，模型本身其实也挺不安全的。

据Vectara HHEM人工智能幻觉测试，DeepSeek-R1显示出14.3%的幻觉率，是V3的近3倍：

一、模型幻觉

模型是各AI产品的底座，但是他好像天生残疾，是个阴阳人，没有什么坚定立场，很容易被影响不说还非常自信，并且总是一本正经地胡说八道。

还是之前的经典案例，我在使用最先进的模型GPT的Deep Research，让他解决的问题是：梳理所有的医疗信息发布渠道，并且按权威性排序。

首先，这个问题本身的复杂度是极高的，我并不期待模型能够给出完整的回答，但是他给我的回答是：

这里马上出了巨大问题，我虽然不期待模型给我完善的回答，但是他不能有关键的错漏，比如：连最基础的医疗教科书都没有，这我是不能忍的。

而其他模型在这种复杂问题上，表现也是不佳的。

稍微上升下问题：如果模型在治病的时候发生了漏诊、如果模型在给予治疗方案的时候采用了过期的方案，给到了错误的药物，那怎么办？

而实验显示，在医疗问答任务中，模型对错误答案的置信度（softmax概率）常高于正确答案。

这种错误自信现象源于训练数据中伪科学内容的高频出现，如“维生素C抗癌”在健康论坛中的重复强化。

而从模型实现原理来说，这就是它的原罪，并且靠模型自身是难以自己解决的。

幻觉根由

模型是根据训练数据中的概率分布来预测输出，因此，它并不具备真正的理解力，而是生成在语义上高度符合统计规律的文本，从这个逻辑来说，模型应该归属于统计学领域。

因为统计学逻辑，模型的预测目标是基于最小化预测误差，而不是内容真实性，那么在逻辑上模型幻觉永远不能完全消除。

另一方面，幻觉通常源于模型训练数据中的噪声、过拟合、或生成策略的不可控性：

1. 数据偏差：训练数据包含错误或矛盾信息；

   
   

2. 模型过拟合：对训练数据中的噪声过于敏感；

   
   

3. 生成策略自由度过高：解码时缺乏事实一致性约束；

   
   

除此之外，当前稍微复杂点的疑难杂症往往都是“危险的”，而他们病历的厚度可能像一本书！

当前的模型上下文虽然越来越长，但依旧会有两个问题：

1. 输入越长，模型理解越差；

   
   

2. 模型经常难以覆盖完整上下文，会存在知识遗忘现象；

   
   

最后，模型的第一要务是回答问题，模型在追求流畅性时，可能牺牲真实性。

以上是模型幻觉的根由，也就是100次问题，模型总会骗你1次，你要赌那一次“枪里有没有子弹”！

二、安全 > 幻觉

模型幻觉会导致AI产品的不安全，但AI产品的边界远大于幻觉，以医疗AI为例。

1. 过度自信

医生在临床实践中往往对自己的判断过于自信，忽视了病人症状的多样性。

例如，医生可能会因为过度依赖“最常见”诊断而漏诊罕见病，如误诊为普通流感的莱姆病，导致治疗延误，严重时可致死。

而模型依赖于训练数据，IBM Watson号称数据全部由专家标注很是严格，但就是他们，也被曝训练数据包含大量假设性案例。

那么，现在的模型得回答由不得医疗体系不注意啊！

2. 锚定效应

医生在患者就诊时，过度依赖患者最初描述的症状，未能根据后续检查调整判断。

比如，患者在急诊时报告了典型的胃痛症状，医生根据首个描述忽视了其他可能的急性心脏病症状，导致误诊。

这个案例的医生可能还会有些委屈，因为心脏病与一般的胃痛压根不是一个科室，消化科医生看不懂心内科的病，他可能会直接忽视。

在类似的案例里面就算医生做进一步检查排除了胃痛，但因为他不知道到底是什么，也可能没引起重视而会“对症下药”，开一点止痛片最终耽搁病情。

以上问题在模型中会同样存在，AI在进行诊断时，过度依赖患者输入的首个症状信息（如“头痛”），忽略后续症状的变化或患者的具体情况，从而影响了后续的诊断准确性。

3. 确认偏误

另一个问题，如果模型中罕见病的记录太少，也可能被直接忽略，这里的逻辑是：常见病容易诊断、罕见病容易误诊。

比如：医生在诊断某种疾病时，过度依赖自己之前的经验，选择性地关注那些支持自己诊断的症状，忽视了与之不符的其他症状，导致错误诊断。

例如，医生可能因为曾经治疗过类似症状的患者而过早得出诊断，忽视了其他潜在疾病。

这种就是典型的拿着锤子找钉子，因为历史上碰到的都是钉子，一旦看到类似物品，就习惯了用锤子而忽视其他了。

模型训练时，过度依赖特定症状的组合，忽视了其他罕见但可能的重要症状，导致诊断错误。

从先验概率来说，模型在做诊断的时候，一定会优先考虑常见病而忽视罕见病，概率统计如此，而这在某种层面是正确的，但正确并不等于安全！

4. 归因偏差

医生可能错误地将病人的症状归因于生活方式问题（如缺乏锻炼或饮食不当），忽视了可能存在的医学问题（如癌症或心脏病），导致诊断延误。

模型也是一样，因为不是所有患者都能很清晰地描述自己的症状，模型在被“无效症状描述”干扰的情况下，很可能将病人的症状归因于与之相关的显著特征而忽视其他潜在的混淆因素。

比如，AI可能会将病人的体重归因于糖尿病，而忽略了其他导致肥胖的健康问题。

......

虽然模型幻觉是AI安全性问题的一个显著方面，但它远不是唯一的风险。

在AI应用中，除了技术问题，伦理问题也是不可忽视的方面。比如，如何在医疗、法律AI应用中处理用户隐私，都是安全领域必须关注的部分。

三、AI产品的安全规则

综上，AI产品的“天马行空”一定要被约束到安全的边界以内，这也是为什么我一直在强调：严肃领域的Agent，是没有模型自由发挥的空间的！

当前AI产品有两条技术路线：

第一，模型仅仅是基础能力，我们做应用开发并不依赖模型，甚至会选择尽量对模型减少依赖，只用不得不用的部分：

另一条路线也就是大模型（比如上述L1-L5）所追求的了：用户只有一个大模型工具，而我将完成一切，以Deep Research、Manus为例，他其实可以归属到这个领域，因为此图：

当时有人问了一个问题是：Manus团队你们自己写了多少个workflow？

大家可以猜一下答案是多少？答案是0。也就是他们的SOP直接由模型生成！再看其技术架构（网上的图）：

举个例子，如果现在你看一个病：

1. 如果是路径一，他将会由一家医疗公司遵循严格的SOP，为你做治疗，而且他们为这套SOP负责；

   
   

2. 如果是路径二，虽然可能也是一家医疗公司提供，但这家医疗公司没有SOP，所有的SOP全部由模型生成；

   
   

这个路径二，就问各位慌不慌？对于曾经从事医疗大模型的人，我绝不会在严肃场景使用Manus这种模式，因为安全性是1，其他都是0！

最后，以医疗AI为例，简单聊聊如何防治模型，增强安全性。

PS：要特别注意，这里仅仅是以医疗为例，方案是通用的

四、安全性策略

所有的严肃领域，都应该将焦点从技术突破转向安全体系建设。

比如，AI在医疗领域最突出的便是模型幻觉和临床安全性问题。

为了弥补这些不足，会有很多策略会被提出来，我这里挑两个常用的做介绍：

 1. 提示词工程

最简单的方式其实还是直接上提示词，比如ChatGPT的回答可以用DeepSeek去校准，以下是一个医疗场景的案例：

因为我原来是医疗行业的，真实场景的方式比较敏感不能放出来，在网上找了一篇不错的文章做说明：（《医疗 CoT 全面分析》）

五、结语

在AI快速发展的今天，各行各业都在被颠覆、被赋能，但它所带来的安全隐患同样不容忽视。

我们在做AI产品开发的时候，一定要谨记：安全是1，有效是0，不安全什么都没有！

这不仅是对智能驾驶的警示，更是对所有AI应用领域的深刻反思。尤其是在医疗等严肃领域，任何细微的错误都可能对生命产生不可逆的影响。

因此，尽管AI模型在技术层面取得了突破，但其背后的安全性、可控性和伦理性问题依然需要我们持续关注和解决。

只有在确保AI的安全性和可靠性的基础上，才能真正实现它为人类社会带来的价值。

未来的AI发展，必须始终以“安全为先”，在技术创新的同时，构建更为完善的安全体系，才能在实践中赢得人们的信任与支持，避免技术的失控带来无法挽回的后果。

本文来自微信公众号：叶小钗，作者：叶小钗