文章来源：牛津大学官方网站
牛津大学的研究人员在确保生成人工智能 (AI) 生成的信息稳健可靠方面取得了重大进展。在今天发表在《自然》杂志上的一项新研究中，他们展示了一种新方法来检测大型语言模型 (LLM) 何时可能“产生幻觉”（即编造看似合理但实际上是虚构的事实）。这一进展可能为在法律或医学问答等“粗心大意的错误”代价高昂的情况下部署 LLM 开辟新途径。
研究人员重点研究了幻觉，即法学硕士每次被问到问题时都会给出不同的答案——即使措辞相同——这种现象被称为“虚构”。
“法学硕士能够用多种不同的方式来表达同一件事，因此很难判断他们何时对答案有把握，何时只是在编造一些东西”，牛津大学计算机科学系的这项研究作者Sebastian Farquhar 博士说道。“使用以前的方法，无法区分模型是不确定要说什么还是不确定如何表达。但我们的新方法克服了这个问题。”
为此，研究团队开发了一种基于统计学的方法，使用基于多个输出之间的变化量（以熵为衡量标准）估计不确定性的方法。他们的方法在含义层面而非单词序列层面计算不确定性，也就是说，它可以发现 LLM 何时不确定答案的实际含义，而不仅仅是措辞。为此，LLM 产生的概率（表示每个单词在句子中出现的可能性）被转化为含义概率。
在针对六个开源 LLM（包括 GPT-4 和 LLaMA 2）进行测试时，新方法在发现问题可能被错误回答方面比所有以前的方法都做得更好。这适用于各种不同的数据集，包括回答来自 Google 搜索的问题、技术生物医学问题和数学应用题。研究人员甚至展示了语义熵如何识别 ChatGPT 生成的简短传记中可能不正确的特定说法。
“我们的方法基本上是估算意义空间中的概率，或‘语义概率’，”研究合著者Jannik Kossen（牛津大学计算机科学系）表示。“这种方法的吸引力在于它使用 LLM 本身来进行这种转换。”
通过检测提示何时可能产生虚构，新方法可以帮助生成式人工智能的用户意识到问题的答案何时可能不可靠，并允许基于 LLM 构建的系统避免回答可能导致虚构的问题。该技术的一个关键优势是它适用于数据集和任务，无需先验知识，不需要特定于任务的数据，并且可以稳健地推广到以前从未见过的新任务。虽然它可能使该过程的计算成本比直接使用生成模型高出几倍，但当准确性至关重要时，这显然是合理的。
目前，幻觉是阻碍 ChatGPT 或 Gemini 等法学硕士更广泛采用的一个关键因素。除了使法学硕士不可靠（例如在新闻文章中呈现不准确的信息和捏造法律先例）之外，它们甚至可能很危险，例如在医学诊断中使用时。
这项研究的资深作者、牛津大学计算机科学教授兼英国人工智能安全研究所研究主任 Yarin Gal表示：“从法学硕士那里获得答案的成本很低，但可靠性是最大的瓶颈。在可靠性至关重要的情况下，计算语义不确定性只是很小的代价。”
Gal 教授的研究小组是牛津应用与理论机器学习小组，该小组开展了这项研究以及其他一些推动稳健可靠的生成模型发展的研究。凭借这些专业知识，Gal 教授目前担任英国人工智能安全研究所的研究主任。
研究人员强调，虚构只是法学硕士可能犯的一种错误。“语义不确定性有助于解决特定的可靠性问题，但这只是故事的一部分，”Farquhar 博士解释道。“如果法学硕士不断犯错，这种新方法将无法发现这一点。人工智能最危险的失败发生在系统做了一些坏事却自信而系统化的时候。还有很多工作要做。”
研究成果《利用语义熵检测大型语言模型中的幻觉》已发表在《自然》杂志上。该研究部分由艾伦图灵研究所资助。
