使用场景

社交媒体数据抓取，用于市场分析和用户行为研究。

电子商务网站的产品信息抓取，用于价格比较和库存监控。

新闻网站内容抓取，用于内容聚合和新闻分析。

产品特色

使用现代Python编写，包含类型提示，提供IDE中的代码自动完成功能。

基于Playwright构建，可在3行代码内将爬虫从HTTP切换到无头浏览器。

支持Chrome、Firefox等多种浏览器。

自动管理并轮换代理，智能丢弃表现不佳的代理。

提供CLI工具，快速创建新项目并添加样板代码。

支持数据提取和数据集导出功能，方便数据管理和分析。

使用教程

1. 安装Crawlee和Playwright：使用pip安装Crawlee，并运行playwright install安装浏览器二进制文件。

2. 使用CLI创建新项目：通过pipx run crawlee create my-crawler命令创建新的爬虫项目。

3. 编写爬虫逻辑：在项目中编写爬虫逻辑，包括请求处理、数据提取和代理管理。

4. 运行爬虫：使用asyncio运行main函数，开始爬取指定的URLs。

5. 数据处理：爬虫运行结束后，可以导出数据集到JSON文件或直接使用数据。

6. 优化和维护：根据需要调整爬虫参数，优化代理使用策略，维护爬虫的稳定性和效率。