深度极客

2918粉丝34视频

关注

效率大幅提升！Prompt 自优化框架出炉 香港中文大学最新研究提出了一种名为 MAPS 的创新框架，用于优化大语言模型（LLMs）生成测试用例的性能，当然，可应用的场景不至于此。 这个框架主要包含三个核心组件： 域上下文知识提取：通过融入文件内和跨文件的上下文信息，包括类的继承关系和方法调用等，帮助 LLMs 生成更准确的测试用例。 多样性引导提示生成：从高性能提示中推断出多样的修改方法，探索更多可能的提示，以生成更优质的测试用例。 失败驱动规则归纳：通过聚类算法和加权采样，从失败的测试用例中提取代表性信息，转化为简洁规则，指导 LLMs 避免重复错误。 实验结果表明，MAPS 方法在 ChatGPT、Llama-3.1 等模型上取得显著效果，在行覆盖率和分支覆盖率上分别提升了 6.19% 和 5.03%。