为什么执行爬虫程序还要使用代理服务器？

在爬虫的时候，被爬网站是有反爬虫机制的，如果使用一个IP反复访问一个网页，就容易被出现IP限制，无法再对网站进行访问，这时就需要用到代理IP。

爬虫在抓取一个网站数据的时候，就相当于反复向一个人打招呼，有非常大的几率会被拉黑。使用代理IP更换不同IP，对方网站每次都以为是新用户，自然就没有拉黑的风险。

如果业务量不大，工作效率并没有太大要求，可以不使用代理IP。如果工作任务量大，抓取速度快，目标服务器会容易发现，所以就需要用代理IP来换IP后再抓取。通过以上的介绍，说明网络爬虫不是必须使用代理IP，但确是高效工作的好工具。目前ipidea已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。

爬虫软件需要什么配置的电脑？

爬虫软件需要的电脑配置，取决于爬虫使用者期望爬虫程序完成的任务scope和爬取网站的嵌套层次深度。

所谓爬虫，就是指编程人员开发出的一种模拟终端用户访问指定网页资源并进行持久化的程序。

爬虫程序需要爬取的网站列表规模越大，需要解析的网页嵌套层次越深，意味着爬虫工作量越大。

这种情况下，配置越好，CPU计算能力越高的电脑，执行爬虫程序的效率就越高。

python爬虫网页数据要什么样的服务器？

如果是本地开发测试，自己的电脑8g4核就可以了，如果部署linux，可以选择32g8核，可以设计多线程代码处理更快

问题：

因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗

要怎么远程连接mysql呢？

如果不需要存到同一个mysql下，那应该是个什么原因呢？

解答：

可以存在同一个mysql也可以存在不同的mysql，主要看你的需求是怎样的，一般情况下，存在一个mysql就足够了

不管你的程序是在本地还是线上，只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外，服务器可能还配置了另外的限制条件，比如说限制远程连接的IP，如果你的本地IP不在连接白名单里面，那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。

不存在同一个mysql的原因，可能会考虑到数据备份，也可能考虑到连接速度（如果在这方面有很高要求的话，会选择最近的服务器上的数据库进行存储）

网络爬虫对网站服务器有一定的影响，但并非百害无一利。网络爬虫可以帮助搜索引擎建立网页索引，提高网站的曝光度和流量。同时，网络爬虫也可以用于数据采集、舆情监控等应用，为用户提供了丰富的数据支持。

然而，如果网络爬虫的访问频率过高或者没有遵守网站的爬虫规则，可能会对网站服务器造成一定的负担，甚至导致服务器崩溃。因此，合理使用网络爬虫是非常重要的。

把本地项目部署到服务器上方法比较多，这里以javaee项目为例：

1、把项目打包成zip，

2、FTP上传到生产服务器tomcat的webapps目录下解压；

3、本地修改好的文件，

4、立即FTP上传到生产服务器对应的目录；

5、生产服务器安装svn服务，在本地把修改过的文件commit，然后生产服务器update。

扩展资料：

可以从这几个方面来衡量服务器是否达到了其设计目的；R：Reliability可靠性；A：Availability可用性；S：Scalability可扩展性；U：Usability易用性；M：Manageability可管理性，即服务器的RASUM衡量标准。

1、可扩展性

服务器必须具有一定的“可扩展性”，这是因为企业网络不可能长久不变，特别是在当今信息时代。如果服务器没有一定的可扩展性，当用户一增多就不能胜任的话，一台价值几万，甚至几十万的服务器在短时间内就要遭到淘汰，这是任何企业都无法承受的。为了保持可扩展性，通常需要在服务器上具备一定的可扩展空间和冗余件（如磁盘阵列架位、PCI和内存条插槽位等）。

可扩展性具体体现在硬盘是否可扩充，CPU是否可升级或扩展，系统是否支持WindowsNT、Linux或UNIX等多种可选主流操作系统等方面，只有这样才能保持前期投资为后期充分利用。

2、易使用性

服务器的功能相对于PC机来说复杂许多，不仅指其硬件配置，更多的是指其软件系统配置。服务器要实现如此多的功能，没有全面的软件支持是无法想象的。但是软件系统一多，又可能造成服务器的使用性能下降，管理人员无法有效操纵。所以许多服务器厂商在进行服务器的设计时，除了在服务器的可用性、稳定性等方面要充分考虑外，还必须在服务器的易使用性方面下足功夫。

服务器的易使用性主要体现在服务器是不是容易操作，用户导航系统是不是完善，机箱设计是不是人性化，有没有关键恢复功能，是否有操作系统备份，以及有没有足够的培训支持等方面。

：服务器

Python Web 程序的部署方案

综合而言, 高性能的Python web站点部署方式首推 nginx + uwsgi

apache + mod_wsgi 是简单稳定但性能一般的方式

API服务器 可以直接使用tornado或者gevent

mod_python

非常原始的cgi模式部署python已经没有什么好介绍了。对于不太追求性能的管理系统和网站来说，使用 Apache 部署是一个不错的选择。较早的时候，使用 mode_python 部署python的web应用十分流行,在Django 096 的时候官方文档甚至推荐这种方式。

它将Python解释器嵌入到Apache server,以提供一个访问Apache server内部的接口。mod_python 在现在看来性能是不佳的，每一个http请求 mod_python 都会由一个进程初始化python解释器、载入代码、执行、然后销毁进程。

mod_wsgi

如果非要用Apache来部署python应用，mod_wsgi是一个更好的选择。WSGI 全称是 Web Server Gateway Interface ,由 PEP-333 定义。 基本上所有的python web框架都实现了wsgi接口，用mod_wsgi 能部署任何实现了wsgi的框架。实际上，不需要任何框架也可以用mod_wsgi 部署python程序。使用mod_wsgi的daemon模式，python程序会常驻内存，不会有很大的初始化和销毁进程方面的开销，所以性能是好于mod_python的。综合来说，使用Apache部署python web程序，推荐使用mod_wsgi的daemon模式。

Fastcgi

先说观点：不建议用fastcgi的方式部署Python web。

前几年由于lighttpd风头正劲和豆瓣的成功案例，fastcgi是一种很流行的部署方式。fastcgi与具体语言无关，也与web服务器无关。是一种通用的部署方式。fastcgi是对于cgi的增强，CGI程序运行在独立的进程中，并对每个Web请求建立一个进程。面对大量请求，进程的大量建立和消亡使操作系统性能大大下降。

与为每个请求创建一个新的进程不同，FastCGI使用持续的进程来处理一连串的请求。这些进程由FastCGI服务器管理，而不是web服务器。 当进来一个请求时，web服务器把环境变量和这个页面请求通过一个socket比如FastCGI进程与web服务器都位于本地）或者一个TCP connection（FastCGI进程在远端的server farm）传递给FastCGI进程。

主流的web服务器，Apache,lighttpd,nginx 都支持fastcgi，在几年前，lighttpd的mod_fcgi模块性能强劲，lighttpd+fastcgi十分流行。无论是python,ruby还是php，都有大量的站点使用这种方式部署。由于nginx的崛起，现在很少有人使用lighttpd了。

fastcgi 并不是专门为python设计，并不是所有的python框架天然的支持fastcgi，通常需要flup这样的容器来配适。flup由python编写，和专门的c实现的wsgi容器比起来性能显得相当不堪。fastcgi的稳定性对于新兴的wsgi容器来说也有差距。无论从哪个方面来看，部署python web程序，fastcgi 都已经是过去式。

uwsgi

前几年nginx还未内置uwsgi模块的时候，部署uwsgi还是一件挺麻烦的事情。随着能够在nginx中直接使用uwsgi模块，uwsgi已经是最可靠，最方便的高性能python web程序的部署方式了。

在1U的四核XEON服务器上，一个简单的wsgi handler甚至能用AB压到8000以上的qps,这已经是完爆tornado,接近gevent的性能了。 同时，uwsgi的稳定性极好。之前我们有个每天500w-1000w动态请求的站点使用uwsgi部署非常稳定，在一个渣HP 1U 服务器上，基本不用管它。

上面提到的部署方式都是相对于web网站的方式，在移动互联网的时代，我们需要的是高性能的API服务，上面这些都是过时的东西。

tornado

tornado 号称高性能，如果拿他写网站，其实一般般，只不过跟uwsgi加一些简单框架差不多而已。它真正的作用，是用来写API服务器和长连接的服务器。

由于tornado能够直接处理http请求，很多人直接拿他来裸奔直接提供服务。这种方式是不可取的，单线程的tornado只能利用cpu的一个核心，并且一旦阻塞直接就废了。通常情况下，由supervisor启动多个tornado进程，通过nginx进行反向代理负载均衡。nginx 114 以后的版本反向代理支持长连接，配合tornado的comet效果很好。

tornado还有一些比较奇葩的用法，比如用来做wsgi容器之类的。

gevent

gevent是一个神器，能做的事情很多。在web方面，处理http请求，用起来其实跟tornado差不多，但是要简陋很多，cookie之类的都没有。用gevent写的一些API服务，部署方式还是类似tornado，用supervisor管理多个守护进程，通过nginx做负载均衡。 同样的它的奇葩用法也和tornado一样，可以当wsgi容器用。