Python已经用了一年多。python应用最流行的场景是快速web开发、简单网站的网络爬虫和自动运输、自动提交脚本、邮件收发脚本、简单认证码识别脚本。
网络爬虫在开发过程中也有很多流程。总结到这里，以后可以省事了。
1元。网站页面基础知识。
冠军联赛。机构知识产权的使用。
在开发网络爬虫的过程中，当IP经常关闭时，必须使用代理IP。
Urllib2密室逃脱:冠军联赛包有一个ProxyHandler类，也可以用来设置对网站页面的代理访问。代码片段如下。
侏罗纪世界3。饼干加工。
cookies是一些网站存储在用户本地终端的数据，目的是识别用户和跟踪对话。Python提供了一个cookiesslib模块来处理cookie。cookiesslib模块的主要作用是提供可以存储cookie的对象，从而配合urrib2《密室逃脱:冠军联赛》模块访问互联网资源。
代码段:
重要的是，cookieJar用于管理HTTP。
cookie值，存储HTTP请求生成的cookie的对象，并将cookie添加到发布的HTTP请求中。cookies作为一个整体存储在内存中。cookiesJar实例在垃圾回收后会丢失cookies，所有进程不需要单独操作。手动添加cookie。
复仇者联盟4：终局之战。伪装成浏览器。
有些网站不喜欢网络爬虫的访问，拒绝他们的请求。使用urllib2密室逃脱:冠军联赛直接访问网站时，经常会出现HTTPEror403。
被禁止的状态。
请特别注意服务器端检查的一些头。用户的服务器和代理检查该值，以确定它是否是浏览器发起的请求。使用REST接口时，服务器检查该值以确定HTTPBody的内容。此时，您还可以修改http包来实现下面的代码片段:
һѪ5Ѫ。页面分析。
当然页面分析最强的还是正则表达式，对于不同网站的用户来说是不一样的，不需要太多解释。
对于这两个库，边肖的评价是HTML/XML处理库，用python中的美化程序实现，效率不高但功能实用。比如HTML节点源代码的lxmlC语言代码，可以通过结果搜索得到，效率高，支持Xpath。
6元。验证码的处理。
对于一些简单的验证码，也可以轻松识别。我只做过简单的认证码识别。但有些反人类的认证码，比如12306，也可以通过打码平台手动打码。当然是要收费的。
7元。gzip压缩。
你有没有遇到过一些网站页面无论怎么转换都是乱码？哈哈，这说明你不知道很多网络服务都有发送压缩数据的能力，也可以减少网络线路上传输的数据量。60%以上。特别适合XML网络服务。因为XML数据的压缩率还是很高的。但是一般服务器只要不告诉服务器就不会发送压缩数据。所以有必要这样修改代码。这是关键:创建一个请求对象，添加接受Kramp-Karrenbauer编码头信息，服务器gzip压缩数据就可以接受了。然后解冻压缩的数据:
8元。多线程并发采集。
如果单线程太慢，就需要更多的线程。这里简单的线程池模板只打印了1元，Kramp-Karrenbauer和10元，但是可以看出是并发的。
python的多线程虽然是个鸡肋，但对于网络爬虫等频繁类型的网络，还是能在一定程度上提高效率的。来试试吧~
