近日,夸克正式公开其训练健康大模型的医师考试测试集,这是国内首个覆盖全阶段医师考试的大模型测试集。该测试集的推出,旨在推动AI与医疗的深度融合,为医学相关的AI研究提供有力支持。
一、测试集的覆盖范围与特点
此次公开的医师考试测试集涵盖了执业医师、主治医师、副主任医师、主任医师全阶段考试,精选了普通内科学、普通外科学、妇产科学、儿科学等12门核心学科,共计约7600道题,其中真题部分均取自2024年最新考试。该测试集将不同测试等级有效梯度化,初级考试以单选题、记忆类题目为主,随着考试级别升高,多选题、案例分析题比例随之升高,对模型的推理能力也要求越高。这种梯度化的测试集能为模型测试提供更明确的标准,并能有效发现模型短板、推动模型优化升级。
二、推动AI与医疗融合
此前,国内一直缺少一款时效性高、覆盖面全的医师考试测试集。夸克健康大模型此前已成功通过中国12门核心学科的主任医师笔试评测,并发布技术报告《QuarkMed Technical Report》,公开了“主任医师级”能力技术实现细节。通过公开模型研发技术与医师考试测试集,夸克希望推动AI与医疗相融合的进一步发展。
三、行业意义与影响
夸克此次公开的医师考试测试集,受到了行业内的广泛关注和好评。壹生检康CEO王强宇表示,该测试集让创业团队少走很多弯路,豆蔻妇科大模型训练过程中遇到的关键难题是如何评判模型性能,“MedBench这些通用医疗基准在妇科场景下适配性很差,无法准确衡量模型真实水平。有了夸克这套专业测试集,我们不用在基础素材上耗费精力,能把更多资源投入到模型算法优化、妇科场景深度适配这些核心工作上。”
AD:精心整理了2000+好用的AI工具!点此获取