使用场景
在学术研究中，VisRAG可以用于从大量文献中检索和生成相关的研究论文摘要。
在内容推荐系统中，VisRAG可以根据用户的历史行为和偏好，检索并生成个性化的内容。
在智能问答系统中，VisRAG可以通过检索相关文档并生成准确的答案，提高问答的准确性和效率。
产品特色
直接将文档作为图像嵌入，增强文档生成能力
利用视觉语言模型进行文档嵌入，提高信息保留率
通过检索增强，提升文档生成的质量和相关性
支持使用不同的VLMs进行生成，如MiniCPM-V 2.0和GPT-4o
提供详细的训练和评估脚本，方便复现和应用
在训练过程中使用梯度检查点以减少内存使用
支持多模态文档，包括PDF和由VLM生成的伪查询
使用教程
1. 安装必要的环境，如Python 3.10.8和CUDA Toolkit。
2. 克隆VisRAG代码库，并进入项目目录。
3. 安装依赖项，并根据需要安装timm_modified库。
4. 准备训练数据集，可以是公开的学术数据集或合成数据集。
5. 根据提供的脚本和参数，运行训练和评估过程。
6. 使用VisRAG模型进行文档嵌入和检索增强型生成任务。
7. 根据需要调整模型参数和训练配置，以优化性能。
