admin 案例分享 2023-05-28 22:31:55

诸位爬虫工程师使用什么平台/系统/开源项目来监控、维护和管理爬虫？

公司爬虫刚起步，想找一个工具用来管理和维护未来写的爬虫，在此请教一下大家顺便多学一点东西。

平时写爬虫 requests 和 scrapy 都有用过。

----------------------- 以下是精选回复-----------------------

答:spiderkeeper
答:https://www.jianshu.com/p/c0de29466732
答:我也困惑
答:pyspider 吧
答:OpsPlatform
答:同样的疑惑，目前在用 scrapyd 和 spiderkeeper, 但是感觉 scrapyd 不太好用.
答:我以前团队是自己写的，糅合 pyspider 和 scrapy
答:上架市场吧，用不了
答:Sorry，回复错了 0.0
答:scrapydweb：实现 Scrapyd 集群管理，Scrapy 日志分析和可视化 https://github.com/my8100/scrapydweb
答:可以试试 Crawlab，非常灵活的分布式通用爬虫管理平台，支持任何框架和语言，当然包括 scrapy、selenium、puppeteer 等等

https://github.com/crawlab-team/crawlab