刚买了阿里云服务器,如果要部署爬虫,需要装哪些?( 服务器小白一枚 )
今天刚买了阿里云的服务器,是 Linux 系统
现在的需求是想把自己电脑上的爬虫功能部署到服务器上,然后定时爬取数据
所以想请教下,我需要装哪些? 我只知道要装 python,其它的就不太清楚
希望有大神能够指教一下 说的越详细越好。 我可以自己去找资料,然后看下怎么弄、
----------------------- 以下是精选回复-----------------------
答:一个爬虫脚本 xxx.py
然后爬下来的数据放到哪里? -- 可能需要 mysql 或者其他数据库
然后定时任务调用脚本就行
以后是否需要监控一类的,根据业务发展在看吧
答:我有个问题啊?你买的带宽不会是 1M 的吧?
答:那你干嘛不买个 win 系统的主机?
答:你自己开发的电脑是怎样的,就弄成怎样的呗
答:装上 python 然后用 linux 自带的定时任务就行了
服务器跑爬虫如果被封 IP 就很难受
答:记住爬数据的时候别爬太快了。谁爬我的数据爬快了就直接投毒
答:ip 库要到位,坐牢的心态也要摆正
答:IP 长时间访问时有可能会被封的,跟敏不敏感数据没关系。有些可能会直接把云服务器的 IP 给封了,这情况你怎么处理,还有我估计你的云服务器也没多贵,你的容量估计不乐观,你考虑存储的问题吗?
答:scrapy
答:需要阿里云联系我呀,给你惊喜,一 66 二 333 二 666 一
答:vpsur 点康姆
0条评论