使用场景
开发者可以使用该工具生成用于训练聊天机器人的文本数据。
研究人员可以利用生成的文本文件进行自然语言处理模型的训练和测试。
数据科学家可以整合多个网站的内容，生成大规模的文本数据集用于机器学习项目。
产品特色
爬取网站内容并整合成单个文本文件
生成标准和完整版本的llms.txt文件
提供Web界面和API访问
无需API密钥即可使用基本功能
支持多种网站类型和内容格式
快速生成用于LLM训练和推理的文本数据
支持本地开发和部署
使用教程
访问 https://llmstxt.firecrawl.dev 使用Web界面生成文件。
通过API访问：GET https://llmstxt.firecrawl.dev/[YOUR_URL_HERE]。
在本地开发环境中，创建.env文件并配置相关环境变量。
运行npm install安装依赖，然后使用npm run dev启动本地服务器。
通过浏览器访问本地服务器，输入目标网站URL生成文本文件。
