AI生成文本的检测与反检测摘要：大型语言模型（LLM）在自然语言处理（NLP）领域的广泛应用，引发了人们对LLM潜在滥用的担忧，如传播错误信息、产生假新闻、学术剽窃等。为了解决这些问题，AI生成文本（AI-GT）的检测技术应运而生。本文基于马里兰大学的一篇综述论文，对当前AI-GT检测的方法与反检测方法进行了简明分类和概述，并探讨了该领域的前景和局限性。一、AI-GT检测领域研究内容分类二、AIGT检测方法AIGT检测方法主要分为两类：prepared detector和post-hoc detector。1. Prepared Detector基于水印的方法：该方法通过在输入文本中嵌入水印，然后检查输出文本是否包含与水印相关的信息来判断文本是否由AI生成。这种方法需要模型所有者在文本生成过程中进行干预。基于检索的方法：用户先与AI进行交互，得到一批AI输出。对于待检测的文本，通过比较它们与AI输出的相似度来判断是否为AI生成。然而，这种方法可能涉及隐私问题，因为需要存储一批用户数据。2. Post-hoc DetectorPost-hoc detector更难但更实用，因为它不需要在文本生成过程中进行干预。根据是否需要数据集（文本+机器合成/人工撰写标签），post-hoc detector可以分为zero-shot和training/fine-tuning分类器两类。Zero-shot：主要根据机器合成的特点来判断文本是否由机器合成。例如，机器倾向于输出概率较大的常见词，不擅长逻辑推断而擅长背诵记忆。因此，可以通过检测文本中的离群点或利用机器回答的特性来进行判断。Training/Fine-tuning：这类方法需要数据集进行训练或微调。例如，使用n-gram方法比较LLM在不同前缀下的输出相似度，或利用对抗学习来增强LLM应对paraphraser的能力（RADAR）。三、反AIGT检测与AIGT检测同期发展的，还有关于躲避检测的研究，即反AIGT检测。目前，这方面的工作主要包括人类/机器进行paraphrase、生成式攻击或Spoofing攻击等。然而，与AIGT检测相比，反AIGT检测的重要性稍弱。四、启发对于人类撰写新闻和机器识别新闻的分类工作，可以考虑使用机器进行paraphrase来增强数据集。此外，AIGT检测领域存在的方法比预期的要少，且难度较高，但前景广阔。市面上的AI生成文本检测工具效果各异，其中基于规则的方法可能具有较高的准确率。因此，如何将规则融合到机器中，是后续研究需要着重考虑的点。总结：AI生成文本的检测与反检测是一个复杂而具有挑战性的领域。随着大型语言模型的不断发展，AIGT检测技术的准确性和实用性将不断提高。同时，反AIGT检测技术的发展也将为AIGT检测带来新的挑战和机遇。未来，该领域的研究将更加注重方法的创新和实践应用，以应对日益复杂的文本生成和检测需求。