使用场景
在智能问答系统中,ViDoRAG 可以快速检索相关文档并生成准确答案。
用于文档分析工具,帮助用户从大量视觉文档中提取关键信息。
在内容创作平台中,ViDoRAG 可以根据用户输入生成相关内容建议。
产品特色
支持视觉和文本信息的多模态检索,有效整合视觉和文本管道
采用高斯混合模型(GMM)动态调整检索策略,提升检索精度
多代理架构支持复杂推理任务,增强生成模型的鲁棒性
提供可扩展的框架,允许用户自定义检索器和生成器
开源代码和数据集,便于研究和开发
使用教程
1. 克隆项目并安装依赖:使用 Git 克隆项目并安装 requirements.txt 中的依赖。
2. 构建索引数据库:运行 ingestion.py 脚本,对文档进行预处理并构建索引。
3. 运行多模态检索器:使用 search_engine.py 中的 SearchEngine 或 HybridSearchEngine 进行检索。
4. 启动多代理生成器:通过 vidorag_agents.py 脚本运行多代理推理和生成任务。
5. 评估结果:使用 eval.py 脚本对生成结果进行评估。