现代对话式聊天机器人试图模仿人与人之间的交流，即使这会使他们的任务不精确且容易出错。它可以为用户提供对其功能的直观访问，但特别是考虑到设计背后的商业利益，也可能具有纵性和误导性。

我们应该研究为什么与人工智能交互的对话形式变得如此普遍，以及这可能带来哪些风险。

愚弄我一次..

我们需要先看看历史：1966 年，当约瑟夫·魏岑鲍姆 （Joseph Weizenbaum） 首次展示他的聊天机器人 ELIZA 时，人们普遍对它的“智能反应”感到困惑。

长期以来，ELIZA 一直是我最喜欢研究的主题之一，因为它在很多层面上都是典范。Weizenbaum 决定以“以人为本的疗法”概念来模拟 ELIZA 的反应，“以人为本的疗法”是 1940 年代开发的一种广泛流行的疗法形式。肯定的、有时是阿谀奉承的对话风格（“告诉我更多关于..”、“你为什么认为..”）从那时起就成为了治疗师语言的刻板印象。

原始 ELIZA 源代码中的标准短语结构

魏岑鲍姆本人从未打算将 ELIZA 写成人工智能，他的意图是将其用作探索人与机器之间交流的一种方法，以及人类在面对令人信服的回应时会如何反应，尤其是保持对话连续的回应，而不是人们习惯的“一个命令，一个回应”的交互。

根据上述推理，一个“人工智能”程序的作者显然打算在一段时间内愚弄一些观察者。他的成功可以通过被愚弄的暴露观察者的百分比乘以他们未能掌握的时间长度来衡量。（魏岑鲍姆，1962 年)

虽然 ELIZA 对图灵测试（在我看来是智能的基准，弊大于利）进行了嘲讽，但它提供了对人机交互的一个重要新现象的洞察：后来被称为 ELIZA 效应，它描述了用户对技术环境和局限性的认识与他们想要忽略它的倾向之间的认知失调， 实际上，用户的欲望“想要被愚弄”，这是一种准暂停的怀疑，我们在欣赏电影或以其他方式想要逃避现实时也会经历这种怀疑。

正是这种在情感触发时暂停现实的准备，让聊天机器人如此令人信服，这种效果就越明显，它们获得的资源越多，并且它们越优化以拉动正确的绳索。

插曲：上下文和界面很重要

大约 15 年前，我参与了一个小爱好项目，该项目实现了一个名为“Choubris”的聊天机器人（以 Iain M. Banks 的科幻小说中机智而讽刺的伙伴命名）。它遵循与 ELIZA 类似的逻辑，但可以访问更大的短语语料库。对于笑声，它是基于从各种“智慧之言”中收集的陈词滥调。这些集合足够笼统，可以给人一种洞察力和理解的印象，无论什么问题。

然而，它的另一个实际目的是“代理”（尽管显然当时不存在该术语），并且可以触发以从 Web 服务获取某些统计信息和状态消息。因为当时我团队中的大多数人仍在使用 Intenet Relay Chat （IRC），所以它在聊天通道中扮演了“用户”的角色。参与笑话的人会经常尝试与机器人触发有意义或荒谬的对话，或者假装与它发生争执。

正是这种互动，加上完成任务的能力，使它如此令人信服。在某个时候，一个新人加入了该频道，观察到如此“激烈的交流”，并立即向我投诉该用户“choubris”的“粗鲁行为”。

虽然显然是轶事，但它具有理解上下文如何愚弄我们的所有要素，即使底层技术很简单。

从图灵悖论到科幻小说

我们不应该忘记，早在人工智能聊天机器人成为商业和广泛使用的服务之前，我们就已经接受了如何与通常被描述为“智能”的机器交互的培训：

从图灵测试开始，从科幻小说到电影（《星际迷航》、《2001 太空漫游》中的 HAL），我们习惯了模仿人类语言模式、情绪和反应的“智能机器”。

正是这种期望为现代聊天机器人奠定了基础。

然而，这提出了一个问题：为什么聊天机器人花了这么长时间才获得如此成功。虽然机器学习和自然语言处理 （NLP） 的研究自 50 年代以来一直是计算机科学的一部分，但在几十年的大部分时间里，人工智能研究都是由学术界和军方资助的，两者都对用户和机器之间的有趣甚至情感互动兴趣不大。

除了纯计算能力之外，其他明显的因素是联网计算机的可用性有限（因此用户数量有限），如果没有万维网，对训练数据的访问极其有限且昂贵。

然而，自 2010 年代以来，很明显，互联网不仅为大型语言模型提供了足够的数据，而且还存在临界数量的用户，因此以前仅限于研究和大数据处理的应用程序出现了商业市场。

情感的插入

自 2022 年 ChatGPT 发布以来，聊天机器人一直是用户与人工智能之间接口的黄金标准。它们直观的使用（不需要任何技术知识）、模仿自然对话和似乎回答任何问题的能力引发了我们从那时起经历的人工智能浪潮。

当然，与 ELIZA 的第一批用户不同，人们通常意识到他们正在与计算机系统交互。以这个使用 ChatGPT 启动随机会话的例子为例（2025 年 7 月）：

ChatGPT 并不严格地假装自己是一个“聪明人”，但另一方面经常使用第一人称代词“我”，为错误“道歉”（“我很抱歉造成混乱......”），并给人一种明显的关心印象（“你呢？

从技术角度来看，ChatGPT 在任务或主题中使用情感语言或假装对用户的“兴趣”是荒谬的，除了创造某种“智能”感知之外没有其他目的。

生成式人工智能生成类人文本的卓越能力构建了一个神话，即它拥有与人类相当的理解水平，这导致了拟人化倾向的增强。（季，2025）

就像广告一样，我们感到舒适，情感投入，即使我们知道这都是假的，也遵循商业激励。这可能只会导致我们回来与系统互动，但在最坏的情况下，它可能会导致情感参与和危险的自我错觉，从而取代人类交流，例如与治疗师的交流被聊天机器人。

自信地犯错

“对于法学硕士来说，信心是设计使然。由于他们选择了合理的词语，因此他们对每篇文本都充满信心。（戈里耶里，2024 年）

一旦在某种程度上建立了熟悉感，我们就会倾向于信任其他人自信地表达意见或事实。除非我们有特别的理由持怀疑态度，否则我们会给予其他人一个“善意的假设”，这种假设在情感上与那个人越接近，这种假设就会得到加强。

伴侣的朋友可能是错的，但我们假设所发表的陈述是善意的，并且我们相信其他人的判断会相应地表达信心。

“[..]人类提出问题，观察法学硕士如何回应，并推断它将如何回应其他问题。这是一种人类概括的行为，类似于人类根据先前的互动来判断其他人的专业知识。（瓦法，2025 年）

大型语言模型生成的幻觉（“虚构的”信息，表达为事实但与训练数据无关）很难被展示，因为它们通常以最大的信心表达。这使用户宁愿质疑自己的判断，尤其是在用户不认为自己是专家的领域。

即使我们在某个我们擅长的领域偶然发现幻觉，盖尔曼失忆症（个人倾向于批判性地评估他们所了解的领域的媒体报道，同时盲目信任他人）就会开始。或者相反，看到我们同意的信息给我们留下了深刻的印象，我们相信我们不了解的领域提供的信息。

聊天中的对话很容易流畅，[..] ，关于每个可能的话题。一个用户需要财务建议，另一个用户想写一个 Python 片段，第三个用户对一首情诗感兴趣。（戈里耶里，2024 年）

信任信号、阿谀奉承和参与农业

暂停怀疑，或者正如 Gorrieri 所说，“虚构的叠加”，变得更容易，并且受到聊天机器人选择的语言以及它们对我们输入的反应方式的积极支持。

“这种二元性与聊天机器人中插入的拟人化特征相结合，鼓励用户在与他们交互时应用虚构的叠加层。经验证据强调了用户在与对话代理互动时可以产生的情感参与——包括真正的联系，甚至浪漫的感觉。（戈里耶里，2024 年）

当然，假设对方是无所不知的，这可能会非常令人生畏，这使得有必要以用户对自己的能力有信心的方式调整反应。然而，OpenAI 承认，如果做得太过分，这种错觉就会被打破，让像 ChatGPT 这样的聊天机器人听起来显然像一个自信骗子。

“ChatGPT 的默认性格深深影响了你体验和信任它的方式。阿谀奉承的互动可能会让人感到不舒服、不安并造成痛苦。我们做得不够好，正在努力把事情做好。（OpenAI，GPT-4o 中的阿谀奉承）

如果肯定更微妙，它可以作为一种信任信号，一个有助于建立信心和信誉的元素，再加上偶尔的不完美，让用户在参与时感到更安全。给用户肯定的回应会让用户感觉已经取得了一些成就，放大了想要更多的欲望，可能达到了添加的程度。

此外，法学硕士不断肯定用户，有时甚至会让人上瘾[129]。这可能会造成情感伤害，并且毫不奇怪，会限制客户的独立性（Jared Moore 等人，2025 年）

通过精确交互进行对话式沟通

自然语言本质上是一种与机器交流的极其不精确的方式。当与人类交谈时，我们用对话语言而不是一系列命令来表达自己，因为 a） 我们更喜欢社交互动 b） 我们依赖的上下文远大于交流本身，以及 c） 我们相信如果其他人觉得我们不够精确，他们会要求澄清。

然而，即使法学硕士可以完全预测，聊天机器人也不可取，因为它会打破我们传统上赋予它的智能和“创造力”的幻觉。

期望、信任和诚信推定

让我们总结一下使聊天机器人说服对话对手的要素：

• 拟人化元素的插入S，随机性让我们忘记我们正在与机器交互，保持用户参与并建立一定程度的信任
• 语言的使用、情感或其他“非技术性”或不精确的元素的插入放大了对“智力”的感知
• 互动的延续违背了我们对“愚蠢机器”的预期，通过模仿“记忆”和更大的上下文理解来支持“智能”的虚构。
• 暂停怀疑（添加“虚构层”）会导致用户不加批判
• 肯定和取悦的尝试会引起进一步的参与，奖励用户，并可能导致用户渴望更多的肯定。
• 模仿自信会让我们忽视错误，甚至将其视为“善意”，尽管知道法学硕士没有意图概念

正是这些因素的结合，为什么我有时将 ChatGPT 描述为一个美化的 ELIZA：尽管可以访问更多的数据、更有说服力（因为不是刻板印象）的措辞，但它仍然依赖于相同的效果和对用户玩相同“把戏”的能力。

结论

Eliza 的简单性证明了，只要满足用户的期望并模拟人类的反应，就很容易产生“智能”的印象并导致人类高估系统的能力。在现代聊天机器人中，通过假装获得“普遍知识”和适应所需沟通方式的能力，这一点被放大了。

人类在日常生活中与他人的互动受到制约，会下意识地“配合”，将机器视为智能生物，并带有诸如“信任”等所有副作用，即使他们意识到了系统的局限性。交互中惊人的相似性可能会导致用户忽略我们在传统软件中不会接受的缺点和明显的故障（“人类也会犯错误”）。

拟人化构建了人工智能系统的技术神话，夸大了它们的能力，将它们视为具有威胁性，并转移了它们的每一个社会影响和技术限制。 （季，2024）

只有当我们质疑拟人化背后的动机并理解为什么界面被这样设计时，才有可能对人工智能系统进行知情理解和授权使用。

因此，纠正围绕人工智能的拟人化不仅是为了建立人工智能的真实表现，而且对于促进对人工智能系统的知情理解也至关重要。（季，2024）

人工智能素养对于这种明智地使用人工智能工具至关重要。欧盟《人工智能法案》要求向用户披露他们正在与人工智能系统交互的法规可能不足以打破意识到与机器交流和“陷入”情感触发和亲密关系的认知失调。就像广告吸引我们的情感一样，我们决定何时以及如何与聊天机器人互动并不一定是一个纯粹理性的决定。

我们不应该忘记，我们正在处理一种商业产品，其结果旨在满足用户的需求。参与度和满意度是设计的目标，在情感上吸引用户，让他们感到舒适并鼓励他们再次使用该产品。

虽然广告和媒体的影响已经研究了几十年，但我们才刚刚开始研究聊天机器人对心理健康的影响、它们改变感知的能力以及它们情绪侵入的深度。

聊天机器人可能会使一些用户更容易、可能更直观地理解与技术的沟通，但作为为商业利益而设计的软件，某些设计决策的动机不能自动被视为仁慈的。

在最坏的情况下，设计决策是为了故意欺骗和纵。