使用场景
开发者使用AutoCoder自动生成代码,提高开发速度。
教育机构利用AutoCoder进行编程教学,帮助学生理解代码生成过程。
企业采用AutoCoder进行代码质量控制,减少人为错误。
产品特色
在HumanEval基准数据集上测试准确率达到90.9%,超过GPT-4 Turbo。
能够自动安装所需的包,并在用户需要时尝试运行代码。
提供了代码解释器,可以验证代码的正确性。
提供了Web演示,包括代码解释器功能。
模型可在Huggingface上获取,包括AutoCoder (33B)和AutoCoder-S (6.7B)。
支持自定义环境并进行测试。
使用教程
创建conda环境以准备测试环境。
在HumanEval基准数据集上进行测试,获取测试结果。
利用EvalPlus GitHub框架进行结果测试和后处理。
在MBPP上进行测试,获取并后处理测试结果。
在DS-1000上进行测试,获取并直接测试结果。
安装gradio相关包并运行Web演示。