使用场景
在自然语言到SQL的转换中,提示得分从39%优化至100%。
在实体提取中,提示得分从73%提升至93%。
优化后的提示提高了人类对提示的可读性,并通过ISO格式要求提高了机器的准确性。
产品特色
自动优化提示,提高生成语言模型的输出效果
自定义评估标准,引导指令生成模型创建新的提示
自动化提示工程,减少手动测试和评估轮次
支持新模型过渡和新用例扩展,提升提示工程效率
通过迭代优化,持续改进提示直至达到完美得分
内部测试显示平均提升11.5%,显著改善特定用例
使用教程
设置初始提示:创建需要优化的初始提示,并包含任何变量或文档。
定义成功标准:为提示建立清晰的成功标准,选择包括准确性、字符计数限制等多个指标。
获取优化后的提示:观察模型根据成功标准生成优化后的提示。
生成补全:目标模型根据初始提示生成每个完全呈现的提示的补全。
评估补全:Prompt Tuner 将生成的补全提交给评估服务,以获得所选标准的标准化分数。
参与指令生成:使用 Command R+ 作为指令生成模型,处理数据以生成预期根据评估标准表现更好的改进提示。
迭代:Prompt Tuner 提取修订后的提示模板,重新插入变量,并使用目标模型生成新的补全。这个循环不断重复,持续优化提示。
结束优化循环:优化过程持续进行,直到提示达到完美得分或达到允许的最大迭代次数。此时,系统最终确定并提供最佳性能的提示给用户。