使用场景
从技术博客中提取所有文章标题和描述。
收集特定行业的市场报告和分析数据。
自动化抓取新闻网站的最新新闻标题。
产品特色
使用SmartScraper类通过提示提取网站信息
支持Ollama模型进行信息提取
支持Docker容器化部署
支持OpenAI模型进行信息提取
支持Gemini模型进行信息提取
提供直接图实现,使用常见的网络抓取管道节点
输出为包含提取信息的字典格式
使用教程
步骤1:安装Scrapegraph-ai库。
步骤2:设置所需的模型和配置,如Ollama或OpenAI模型。
步骤3:创建SmartScraperGraph实例,提供要提取信息的提示和网页源。
步骤4:调用run()方法执行信息提取。
步骤5:打印或处理提取结果,通常为字典格式。
步骤6:根据需要对提取的信息进行进一步的分析或处理。