使用场景

研究人员使用olmOCR将大量学术论文PDF转换为训练数据，用于开发自然语言处理模型。

开发者利用olmOCR的文本解析功能，为聊天机器人提供更准确的PDF内容理解能力。

企业用户通过olmOCR清理PDF文档中的SEO垃圾信息，优化文档质量。

产品特色

提供高效的自然文本解析策略，支持ChatGPT 4o等模型。

支持多版本比较工具，用于评估不同处理流程的效果。

具备基本的语言过滤功能，可移除SEO垃圾信息。

支持模型微调，适配Qwen2-VL和Molmo-O等模型。

能够处理数百万PDF文档，并通过Sglang进行高效推理。

使用教程

1. 安装依赖：在Ubuntu/Debian系统上安装poppler-utils和相关字体。

2. 设置conda环境：创建并激活名为olmocr的conda环境。

3. 克隆olmOCR仓库并安装：使用pip安装olmOCR。

4. 安装sglang：如果需要在GPU上运行推理，安装sglang及相关依赖。

5. 使用命令行运行olmOCR：指定PDF文件路径和工作空间，运行pipeline.py进行PDF处理。