使用场景
通过文本描述检索音乐：输入如 'big band, major key, swing' 等关键词，检索到匹配的音乐。
通过图像检索音乐：输入一幅婚礼场景的图片，模型通过生成的描述检索到婚礼进行曲。
零样本音乐分类：输入一首未标记的音乐，模型通过语义相似性将其分类到对应的音乐类别。
产品特色
支持跨模态音乐检索，如从乐谱到音频的检索
支持多语言文本到音乐的检索，包括未见语言
支持图像到音乐的检索，通过图像描述匹配音乐
支持零样本音乐分类，通过语义相似性计算
支持音乐语义相似性评估，与人类感知高度一致
提供大规模音乐文本对数据集 M4-RAG 和基准数据集 WikiMT-X
通过 t-SNE 可视化音乐模态和语义分布
使用教程
1. 访问 CLaMP 3 的在线演示页面或下载模型权重。
2. 输入文本描述、图像或其他模态的查询。
3. 模型通过对比学习对齐查询与音乐模态的特征。
4. 检索与查询最匹配的音乐。
5. 可通过可视化工具查看音乐模态和语义分布。
