人工智能专家警告说,人工智能“群体”正准备通过部署模仿人类行为的代理来渗透社交媒体,并利用我们随波逐流的倾向。

社交媒体用户可能会发现自己被卷入了一场由人工智能引发的运动中。 (图片来源:Andriy Onufriyenko via Getty Images)
研究人员警告称,大量人工智能(AI)代理可能很快就会大规模入侵社交媒体平台,散布虚假信息,骚扰用户,破坏民主。
根据 1 月 22 日发表在《科学》杂志上的一篇评论文章,这些“人工智能集群”将成为信息战新前沿的一部分,能够模仿人类行为以避免被发现,同时还能制造出真实的在线运动的假象。
想象一下,你发现自己最喜欢的在线社区的观点正逐渐趋于一致,而此前该观点还存在争议。人类的本能往往是追随“群体智慧”。但在这种情况下,这群人可能实际上是被一群人工智能暗中操控的,而这些人工智能代表着某个未知的个人、团体、政党、公司或国家行为体。
“总的来说,人类是趋同的,”评论文章的合著者、挪威BI商学院传播学教授乔纳斯·昆斯特告诉Live Science,“我们常常不愿认同这种观点,而且人与人之间存在一定差异,但总的来说,我们倾向于相信大多数人的行为具有某种价值。而这种倾向很容易被群体行为所利用。”
研究人员指出,即使你不随波逐流,这种群体攻击也可能成为一种骚扰工具,用来阻止那些破坏人工智能叙事的论点。例如,这种群体攻击可以模拟愤怒的暴民,针对持有异议的个人,并将其驱逐出平台。
研究人员并未给出人工智能集群入侵的具体时间表,因此尚不清楚首批人工智能体何时会出现在我们的信息流中。不过,他们指出,人工智能集群难以检测,因此其部署范围究竟有多广目前尚不得而知。对许多人来说,机器人对社交媒体日益增长的影响力已显而易见,而关于“机器人才是网络活动和内容创作主力”这一早已过时的阴谋论,近年来却愈演愈烈。
牧养羊群
研究人员警告说,新兴的人工智能群体风险因我们数字生态系统中长期存在的脆弱性而加剧,而这些脆弱性又因他们所描述的“理性批判性话语的侵蚀和公民之间缺乏共同现实”而削弱。
任何使用社交媒体的人都知道,它已经变成了一个充满分裂的地方。网络生态系统也充斥着大量的自动化机器人——这些非人类账户遵循计算机软件的指令,占据了超过一半的网络流量。传统的机器人通常只能重复执行一些简单的任务,比如发布相同的煽动性信息。它们仍然会造成伤害,传播虚假信息,夸大不实的叙事,但它们通常很容易被检测到,而且大规模的运作需要人类的协调。
另一方面,下一代人工智能集群由大型语言模型(LLM)协调——LLM正是热门聊天机器人背后的AI系统。评论指出,在LLM的领导下,集群将足够复杂,能够适应其渗透的在线社区,并植入一系列保留记忆和身份的不同角色。

昆斯特说:“我们把它看作是一种能够自我调节、学习、适应环境的有机体,它能够利用人类的弱点。”
这种大规模操纵绝非假设。去年,Reddit曾威胁要对一些研究人员提起诉讼,这些研究人员利用人工智能聊天机器人进行实验,试图操纵其热门论坛r/changemyview上四百万用户的意见。根据研究人员的初步发现,聊天机器人的回复比人类用户的回复更具说服力,其说服力是后者的三到六倍。
一个群体可能包含数百、数千甚至数百万个人工智能代理。昆斯特指出,代理数量会随着计算能力的提升而增加,同时也会受到社交媒体公司为应对群体攻击而可能采取的限制措施的制约。
但关键不在于代理的数量。集群可以针对那些对突然涌入的新用户心存疑虑的本地社区群体。在这种情况下,只需部署少量代理即可。研究人员还指出,由于集群比传统机器人更复杂,因此它们可以用更少的数量产生更大的影响力。
“我认为这些机器人越复杂,你实际需要的就越少,”评论的主要作者、挪威科技研究机构 SINTEF 的研究员。
防范下一代机器人
人工智能代理在与真实用户的辩论中占据优势,因为它们可以每天24小时不间断地发布信息,直到其论述深入人心。研究人员补充说,在“认知战”中,人工智能的这种不懈努力和坚持不懈可以被利用来对抗人类有限的努力。
社交媒体公司希望平台上的用户是真实用户,而不是人工智能代理。因此,研究人员设想,公司会通过改进账户认证来应对人工智能集群,强制用户证明自己是真人。但研究人员也指出这种方法存在一些问题,认为在一些国家,人们依赖匿名来表达对政府的不满,这种方法可能会阻碍政治异议。此外,真实账户也可能被盗用或窃取,这进一步加剧了问题的复杂性。尽管如此,研究人员指出,加强认证将增加部署人工智能集群的难度和成本。
研究人员还提出了其他应对群体攻击的措施,例如扫描实时流量以发现可能代表人工智能群体的统计异常模式,以及建立一个“人工智能影响观察站”生态系统,供学术团体、非政府组织和其他机构研究、提高公众意识并应对人工智能群体威胁。本质上,研究人员希望在人工智能群体攻击扰乱选举和其他大型活动之前,先发制人地解决问题。
昆斯特表示:“我们有理由相当肯定地警告说,未来可能会出现一种发展趋势,对民主造成不成比例的严重后果,我们需要开始为此做好准备。我们需要积极主动,而不是坐等人工智能群体对第一类大型事件产生负面影响。”
人工智能专家警告说,人工智能“群体”正准备通过部署模仿人类行为的代理来渗透社交媒体,并利用我们随波逐流的倾向。

社交媒体用户可能会发现自己被卷入了一场由人工智能引发的运动中。 (图片来源:Andriy Onufriyenko via Getty Images)
研究人员警告称,大量人工智能(AI)代理可能很快就会大规模入侵社交媒体平台,散布虚假信息,骚扰用户,破坏民主。
根据 1 月 22 日发表在《科学》杂志上的一篇评论文章,这些“人工智能集群”将成为信息战新前沿的一部分,能够模仿人类行为以避免被发现,同时还能制造出真实的在线运动的假象。
想象一下,你发现自己最喜欢的在线社区的观点正逐渐趋于一致,而此前该观点还存在争议。人类的本能往往是追随“群体智慧”。但在这种情况下,这群人可能实际上是被一群人工智能暗中操控的,而这些人工智能代表着某个未知的个人、团体、政党、公司或国家行为体。
“总的来说,人类是趋同的,”评论文章的合著者、挪威BI商学院传播学教授乔纳斯·昆斯特告诉Live Science,“我们常常不愿认同这种观点,而且人与人之间存在一定差异,但总的来说,我们倾向于相信大多数人的行为具有某种价值。而这种倾向很容易被群体行为所利用。”
研究人员指出,即使你不随波逐流,这种群体攻击也可能成为一种骚扰工具,用来阻止那些破坏人工智能叙事的论点。例如,这种群体攻击可以模拟愤怒的暴民,针对持有异议的个人,并将其驱逐出平台。
研究人员并未给出人工智能集群入侵的具体时间表,因此尚不清楚首批人工智能体何时会出现在我们的信息流中。不过,他们指出,人工智能集群难以检测,因此其部署范围究竟有多广目前尚不得而知。对许多人来说,机器人对社交媒体日益增长的影响力已显而易见,而关于“机器人才是网络活动和内容创作主力”这一早已过时的阴谋论,近年来却愈演愈烈。
牧养羊群
研究人员警告说,新兴的人工智能群体风险因我们数字生态系统中长期存在的脆弱性而加剧,而这些脆弱性又因他们所描述的“理性批判性话语的侵蚀和公民之间缺乏共同现实”而削弱。
任何使用社交媒体的人都知道,它已经变成了一个充满分裂的地方。网络生态系统也充斥着大量的自动化机器人——这些非人类账户遵循计算机软件的指令,占据了超过一半的网络流量。传统的机器人通常只能重复执行一些简单的任务,比如发布相同的煽动性信息。它们仍然会造成伤害,传播虚假信息,夸大不实的叙事,但它们通常很容易被检测到,而且大规模的运作需要人类的协调。
另一方面,下一代人工智能集群由大型语言模型(LLM)协调——LLM正是热门聊天机器人背后的AI系统。评论指出,在LLM的领导下,集群将足够复杂,能够适应其渗透的在线社区,并植入一系列保留记忆和身份的不同角色。

昆斯特说:“我们把它看作是一种能够自我调节、学习、适应环境的有机体,它能够利用人类的弱点。”
这种大规模操纵绝非假设。去年,Reddit曾威胁要对一些研究人员提起诉讼,这些研究人员利用人工智能聊天机器人进行实验,试图操纵其热门论坛r/changemyview上四百万用户的意见。根据研究人员的初步发现,聊天机器人的回复比人类用户的回复更具说服力,其说服力是后者的三到六倍。
一个群体可能包含数百、数千甚至数百万个人工智能代理。昆斯特指出,代理数量会随着计算能力的提升而增加,同时也会受到社交媒体公司为应对群体攻击而可能采取的限制措施的制约。
但关键不在于代理的数量。集群可以针对那些对突然涌入的新用户心存疑虑的本地社区群体。在这种情况下,只需部署少量代理即可。研究人员还指出,由于集群比传统机器人更复杂,因此它们可以用更少的数量产生更大的影响力。
“我认为这些机器人越复杂,你实际需要的就越少,”评论的主要作者、挪威科技研究机构 SINTEF 的研究员。
防范下一代机器人
人工智能代理在与真实用户的辩论中占据优势,因为它们可以每天24小时不间断地发布信息,直到其论述深入人心。研究人员补充说,在“认知战”中,人工智能的这种不懈努力和坚持不懈可以被利用来对抗人类有限的努力。
社交媒体公司希望平台上的用户是真实用户,而不是人工智能代理。因此,研究人员设想,公司会通过改进账户认证来应对人工智能集群,强制用户证明自己是真人。但研究人员也指出这种方法存在一些问题,认为在一些国家,人们依赖匿名来表达对政府的不满,这种方法可能会阻碍政治异议。此外,真实账户也可能被盗用或窃取,这进一步加剧了问题的复杂性。尽管如此,研究人员指出,加强认证将增加部署人工智能集群的难度和成本。
研究人员还提出了其他应对群体攻击的措施,例如扫描实时流量以发现可能代表人工智能群体的统计异常模式,以及建立一个“人工智能影响观察站”生态系统,供学术团体、非政府组织和其他机构研究、提高公众意识并应对人工智能群体威胁。本质上,研究人员希望在人工智能群体攻击扰乱选举和其他大型活动之前,先发制人地解决问题。
昆斯特表示:“我们有理由相当肯定地警告说,未来可能会出现一种发展趋势,对民主造成不成比例的严重后果,我们需要开始为此做好准备。我们需要积极主动,而不是坐等人工智能群体对第一类大型事件产生负面影响。”