Auto-Prompt | 大模型提示(Prompt)优化新方法IPC：可根据用户意图进行定向优化IPC（Intent-based Prompt Calibration）是一种针对大语言模型（LLMs）提示（prompt）工程的新优化方法，其核心思想是根据用户意图迭代地细化提示。以下是对IPC方法的详细解析：一、背景介绍大语言模型在各种任务上展示出了超强性能，但其输出质量对条件提示高度敏感。即使提示格式稍有修改，也会显著影响模型的性能。这个问题在专有领域模型中更为明显，模型版本的变化往往导致生成结果的巨大差异。为了解决这一问题，有人提出使用软提示（soft-prompt）的方法，但这需要对LLM本身做相应的改变。而IPC方法则通过大模型本身来优化提示，无需对模型本身进行修改。二、IPC系统架构IPC系统主要由以下四个部分组成：Dataset：负责管理数据集，执行数据的插入、修改、删除和应用函数等操作，并进行数据清洗以去除语义重复和进行语义抽样。由于系统优化用于处理小数据集，当前实现基于本地数据库，使用pandas库。Estimator：负责估计一批样本，实现了两种估计器：人类注释和大型语言模型（LLM）估计。为了提高效率，估计器支持并行处理和异步调用，并支持批量估计器，可以运行多个LLM估计器，并通过聚合层整合输出。Evaluator：负责在预测和注释阶段之后评估记录，接受一个函数并将其应用于每一行数据。它还负责定义错误并使用分析器进行错误分析。Optimizer：负责管理整个优化过程，执行迭代步骤，并负责停止优化过程并返回最终校准的提示。三、IPC系统实现流程IPC系统的具体实现流程如下：从初始的提示建议和任务描述开始，用户还可以在少量样本的设置中提供一些示例。在校准优化过程中，系统会迭代执行以下步骤：为任务和当前提示提出一些具有挑战性和多样性的样本。在生成的数据集上评估当前提示，并进行分析。根据最近几次的提示，生成一个分数更高的提示。当最近几步没有改进，或者达到最大迭代次数时，优化过程就会结束。通过迭代生成新的样本，利用这些样本的误分类来细化提示，直到它能够校准到用户的意图。四、IPC系统优势IPC系统的优势主要体现在以下几个方面：根据用户意图进行定向优化：通过迭代生成和评估样本，IPC系统能够逐步细化提示，使其更符合用户的真实意图。无需对模型本身进行修改：与软提示方法相比，IPC方法无需对LLM本身进行任何修改，即可实现提示的优化。提高模型性能：实验结果表明，IPC方法在所有测试方法中表现最佳，且方差较低，能够显著提高模型的性能。五、实验结果实验结果表明，IPC方法在Spoiler和PG分类任务以及情感分类任务上均表现出色。在分类任务中，IPC方法的准确性最高，且方差较低。在情感分类任务中，IPC方法在不同训练步骤下的准确率也均高于其他测试方法。以下是部分实验结果的图片展示：综上所述，IPC方法是一种高效且实用的大模型提示优化方法，能够根据用户意图进行定向优化，显著提高模型的性能。