如何入门 Python 爬虫

如何入门 python 爬虫

先自己答一个，期待牛人的回答。

自己学Python不久，列举自己做过的和知道的。

1 Python做爬虫很方便，有现成的库。 我在学习python的过程中也遇到过一个非常简单的例子，代码：python/primer/20/Cralwerpy at master · xxg1413/python · GitHub 。好像有开源的项目叫什么supercrawler，具体可以看看。

2Python做游戏。Pygame还是不错的，但只适合做小游戏。用Pygame写个植物大战僵尸还是可以的。推荐教程 用Python和Pygame写游戏。Python在游戏服务器方面也有应用。EVE这种游戏都大量用Python。

3Python作为黑客第一语言，在黑客领域的应用就不多说了。

4Python做网站，有几个web框架 WebFrameworks。 用得最多的是Django。

5各方面都有，什么推荐系统，都是用python，在此就不一一列举了。

Python学习，有哪些方向可以选择？

Python可以学习的方向有：

1、WEB开发

Python拥有很多免费数据函数库、免费web网页模板系统、以及与web服务器进行交互的库，可以实现web开发，搭建web框架，目前比较有名气的Python。web框架为Django。从事该领域应从数据、组件、安全等多领域进行学习，从底层了解其工作原理并可驾驭任何业内主流的Web框架。

2、网络编程

网络编程是Python学习的另一方向，网络编程在生活和开发中无处不在，哪里有通讯就有网络，它可以称为是一切开发的“基石”。对于所有编程开发人员必须要知其然并知其所以然，所以网络部分将从协议、封包、解包等底层进行深入剖析。

3、爬虫开发

在爬虫领域，Python几乎是霸主地位，将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。从事该领域应学习爬虫策略、高性能异步IO、分布式爬虫等，并针对Scrapy框架源码进行深入剖析，从而理解其原理并实现自定义爬虫框架。

4、云计算开发

Python是从事云计算工作需要掌握的一门编程语言，目前很火的云计算框架OpenStack就是由Python开发的，如果想要深入学习并进行二次开发，就需要具备Python的技能。

5、人工智能

MASA和Google早期大量使用Python，为Python积累了丰富的科学运算库，当AI时代来临后，Python从众多编程语言中脱颖而出，各种人工智能算法都基于Python编写，尤其PyTorch之后，Python作为AI时代头牌语言的位置基本确定。

6、游戏开发

游戏开发所要学习的知识范围非常广泛,与编程相关的开发岗位也不少,大概能分为:

客户端 / Gameplay / UI 工程师

主要负责游戏逻辑的实现，除开对引擎和编程语言的熟悉外，还需要一定的数学与物理知识。

国内许多新入行的的人第一份工作就是实现UI功能，UI在游戏开发中有相当重要的地位。主要负责处理UI交互上的逻辑，需要熟悉游戏引擎和脚本代码的编写。

引擎工程师

如果游戏是自研引擎开发，这些人就决定了引擎的性能与效率。需要熟悉如C++等较为底层的语言和部分计算机图形学知识。

技术美术（TA）

这里指的是偏技术方向的技术美术，需要在计算机图形学上有很深的研究。能够协助美术解决技术问题，协助程序解决美术问题，在游戏里实现或逼真或酷炫的视觉效果。

服务器开发工程师

负责能够联网的游戏的后端逻辑，也需要学习网络编程、数据库、常规运维等知识。另外，服务器逻辑与客户端逻辑是相通的，并没有看上去差异那么大。