AI测试的准确率、覆盖率、稳定性准确率AI测试的准确率是衡量AI系统或模型在测试过程中正确识别、理解并响应输入的能力。它受到多个因素的影响，包括大模型的准确率、上下文的清晰度以及用户意图的明确性。大模型的准确率：大模型经过大数据的预训练，已经能够充分理解网页结构与网页的动作行为。对于70b以上的大模型，其准确率已经非常高，甚至可以实现100%的准确率；而7b的大模型，其准确率也基本在90%以上。这取决于企业具体使用的大模型。上下文的清晰度：被测系统的UI结构或接口接口的清晰度对准确率有重要影响。清晰的识别标记（如id、class、text、placeholder等）以及周边文本标记、父子元素标记等都能提高准确率。然而，当存在标记随机、缺少明确标记或存在相似标记时，准确率可能会下降。此时，可以通过优化提示词来增强模型的识别能力。用户意图的明确性：直接说明意图或明确说明步骤可以提高AI模型的响应准确率。例如，使用具体的操作步骤（如“打开时钟app，添加东京时区”）比使用模糊的意图描述更有效。通过优化上下文的清晰度和用户意图，以及系统性的学习AI测试规范，AI测试的准确率可以达到100%。覆盖率AI测试的覆盖率是衡量测试过程覆盖被测系统或模型所有可能输入和输出的能力。它受到上下文覆盖率和提示词策略的影响。上下文的覆盖率：产品文档的信息覆盖率通常较低，因为文档中的信息量相对粗略，且取决于图片的识别准确率。相比之下，产品原型的UI/接口覆盖率更高，如果提供产品原型或真实的被测系统，覆盖率可以达到90%以上。提示词策略：在足够的上下文覆盖率的情况下，提示词策略决定覆盖的深度。通过采用全路径覆盖、等价类边界值覆盖、循环覆盖、异常覆盖和安全测试等策略，可以提高测试的覆盖率。然而，由于AI生成的用例会非常巨大，因此通常会选择性地有所取舍。具体的百分比取决于提示词策略。通过优化提示词策略，可以实现特定场景的100%覆盖。稳定性AI测试的稳定性是衡量AI系统或模型在多次测试过程中输出一致性的能力。它受到大模型参数、提示词和上下文的影响。大模型参数：大模型的参数设置为不随机时，可以实现稳定不变的输出。通过调整temperature、top-k、top-p以及可能的思维链生成策略，可以进一步确保输出的稳定性。提示词：提示词基本也是固定不变的，这有助于保持测试的稳定性。上下文：上下文主要取决于网站是否在测试期间发生变化，如随机内容、实时内容变化或异常路径。当上下文发生变化时，准确率可能会受到影响，但通过优化提示词仍然可以达到较高的准确率。综上所述，通过合理设置大模型参数、优化提示词和确保上下文的一致性，可以保持AI测试的稳定性。在测试过程中，应密切关注这些因素的影响，并采取相应的措施来提高测试的准确率、覆盖率和稳定性。上述图片展示了AI测试过程中的一些关键要素和影响因素，有助于更好地理解AI测试的准确率、覆盖率和稳定性的概念及其相互关系。