牛津大学 | 新研究中评估了大型语言模型在政治微定位中的有效性

2024-07-01 18:49:58 118

文章来源:牛津大学官方网站

 

 

大型语言模型 (LLM) 的最新进展提高了可扩展、自动化和细粒度政治微定位的前景,其规模前所未见。例如,当与现有的个人数据数据库集成时,LLM可以定制信息以吸引特定个人的弱点和价值观,例如,一个28岁、非宗教、拥有大学学位的自由派女性与一个61岁、有宗教信仰、保守的男性只从高中毕业。

 

在他们发表在PNAS上的新文章中,OII的博士研究员Kobi Hackenburg和Helen Margetts教授讨论了这种可能性,调查了访问这些个人层面的数据在多大程度上增加了OpenAI的GPT-4模型的说服力。通过构建一个能够将人口统计和政治数据实时集成到 GPT-4 提示中的自定义 Web 应用程序,OII 研究人员生成了数千条独特的消息,以说服个人用户。

 

在预先注册的随机对照实验中部署此应用程序后,他们发现 GPT-4 生成的消息具有广泛的说服力。然而,至关重要的是,总的来说,微目标信息的说服力与非微目标信息的说服力在统计学上没有差异。这表明,与普遍的猜测相反,当前LLM的影响可能不在于他们为个人定制信息的能力,而在于其通用的、非针对性的信息的说服力。

 

Kobi Hackenburg评论说:“对于这一结果,实际上有两种合理的解释:要么基于文本的微定位本身不是一种非常有效的消息传递策略,要么GPT-4在以类似于我们的实验设计的方式部署时根本无法有效地进行微定位。例如,我们已经知道,即使是当前的前沿 LLM 也不能总是可靠地反映细粒度人口群体的意见分布;这种能力对于精确的微定位来说似乎是必要的。

 

Helen Margetts教授补充说:“这一发现很重要,因为大型科技公司的领导者已经对像GPT这样的LLM微目标的说服力提出了宏伟的主张。这项研究在某种程度上挑战了这种说法。相比之下,它突出了 GPT 在特定政策问题上的“最佳信息”的说服力,没有针对性。

 

原文链接:https://www.ox.ac.uk/news/2024-06-26-effectiveness-large-language-models-political-microtargeting-assessed-new-study

400-000-0000 扫描微信
0.215964s