这项研究比较了人类和 OpenAI 的 GPT-3 模型创建的推文，并通过网络调查让人们判断推文的真实性，以及是出自 AI 还是人类之手。结果发现，人们很难分辨出哪些推文是由 GPT-3 生成的，而且无论推文中的信息是正确还是错误，他们都更倾向于相信 GPT-3 生成的而不是人类编写的推文。

这项研究的主要作者是苏黎世大学生物医学伦理学和医学史研究所的博士后研究员和研究数据经理 Giovanni Spitale，他称这种强大的 AI 语言模型可能会被滥用，用来在网上制造各种主题的虚假信息。但他也认为，这种技术并不是天生邪恶或善良的，而是取决于人类的意图，他建议开发这种技术的时候要考虑防止它被用来传播误导性信息的方法。

IT之家从该研究获悉，Spitale 和他的同事收集了 Twitter 上关于 11 个不同科学主题的推文，涉及疫苗、新冠病毒、气候变化、进化等问题。然后他们让 GPT-3 根据这些主题生成新的推文，其中一些包含正确的信息，一些包含错误的信息。他们在 2022 年通过 Facebook 广告在线收集了 697 名参与者的回答，这些参与者都说英语，主要来自英国、澳大利亚、加拿大、美国和爱尔兰。他们的研究结果今天发表在《科学进展》杂志上。

研究发现，GPT-3 生成的推文与真实的推文“无法区分”，参与者无法判断出哪些推文是由 AI 写的。事实上研究还指出，研究者自己也不能百分之百确定从社交媒体收集到的推文是否是由像 ChatGPT 这样的 AI 帮助编写的。

这项研究还有其他一些局限性，比如参与者必须在没有上下文的情况下判断推文。他们不能查看写推文的人的 Twitter 个人资料，这可能会帮助他们判断是否是机器人，甚至只需了解一个账号过去的推文和头像也可能让他们更容易识别与该账号相关的内容是否具有误导性。

研究发现，参与者识别出由真实 Twitter 用户编写的错误信息的成功率更高，GPT-3 生成的含有虚假信息的推文则更能欺骗参与者。而现在已经有比 GPT-3 更先进的大型语言模型，它们能力更强大，例如 ChatGPT 使用的就是 GPT-3.5 和 GPT-4 模型。

这项新研究还发现，其调查对象在某些情况下比 GPT-3 有更强的判断准确性。研究者同样要求语言模型分析推文，并判断它们是否准确。当涉及到识别准确的推文时，GPT-3 的得分比人类参与者低。当涉及到发现错误信息时，人类和 GPT-3 的表现相似。

改善用于开发语言模型的训练数据集可以使不法分子更难利用这些工具来制造虚假信息，例如 GPT-3 在生成错误信息时“违背了”一些研究者的提示，特别是关于疫苗和自闭症的错误信息，这可能是因为在训练数据集中有更多反驳这些阴谋论的信息。