九、多线程爬虫

9.1利用多线程爬虫爬取糗事百科的资源：

十、爬虫代码总结：

要实现一个完整的爬虫，无外乎4个核心步骤：

1.首先我们要确定要爬取的目标url：

a.如果目标url地址有明显的规律，则可直接构建一个url_list来遍历读取数据

b.如果目标url地址不明显，那就先获取第一页的url地址，通过代码提取下一页的url地址

2.获取到url地址后，我们就可以向这个url发送请求，获取响应：

a.添加随机的User-Agent,反反爬虫

b.添加随机的代理ip，反反爬虫

c.在对方判断出我们是爬虫之后，应该添加更多的headers字段，包括cookie

d.cookie的处理可以使用session来解决

e.准备一堆能用的cookie，组成cookie池：

- 如果不登录

- 准备刚开始能够成功请求对方网站的cookie，即接收对方网站设置在response的cookie

- 下一次请求的时候，使用之前的列表中的cookie来请求

- 如果登录

- 准备多个账号

- 使用程序获取每个账号的cookie

- 之后请求登录之后才能访问的网站随机的选择cookie

3. 提取数据

a.确定数据的位置

- 如果数据在当前的url地址中：

1.提取的是列表页的数据

- 直接请求列表页的url地址，不用进入详情页

2.提取的是详情页的数据

- 1. 确定url

- 2. 发送请求

- 3. 提取数据

- 4. 返回

- 如果数据不在当前的url地址中：

1.在其他的响应中，寻找数据的位置：

- 从network中从上往下找

- 使用chrome中的过滤条件，选择出了js,css,img之外的按钮

- 使用chrome的search all file，搜索数字和英文

b.数据的提取

- xpath,从html中提取整块的数据，先分组，之后每一组再提取

- re，提取max_time,price,html中的json字符串

- json

4.保存

- 保存在本地，text,json,csv

- 保存在数据库

十一、动态HTML处理：

1.Selenium和PhantomJS介绍：

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，

Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），

可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript

2.Selenium和PhantomJS的使用方法：

加载网页：

* from selenium import webdriver

* driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)

* driver.get("http://www.baidu.com/")

* driver.save_screenshot("长城.png") //截屏

定位和操作：

* driver.find_element_by_id(“kw”).send_keys(“长城”)

* driver.find_element_by_id("su").click()

查看请求信息：

* driver.page_source

* driver.get_cookies()

* driver.current_url

退出

* driver.close() #退出当前页面

* driver.quit() #退出浏览器

页面元素定位方法：

* find_element_by_id (返回一个)

* find_elements_by_xpath （返回一个列表，获取属性和文本需要使用get_attribute() 和.text）

* find_elements_by_link_text （返回全部文本）

* find_elements_by_partial_link_text （返回某个文本）

* find_elements_by_tag_name

* find_elements_by_class_name

* find_elements_by_css_selector

页面等待：

* 如果网站采用了动态html技术，那么页面上的部分元素出现时间便不能确定，

这个时候就可以设置一个等待时间，强制要求在时间内出现，否则报错

* 强制等待：time.sleep(10)

3.Selenium的使用注意点：

1.如果页面中含有iframe、frame，需要先调用driver.switch_to.frame的方法切换到frame中才能定位元素

2.selenium中find_element_by_class_name只能接收一个class对应的一个值，不能传入多个

3.使用selenium登录，遇到验证码

- url不变，验证码不变

- 1.请求验证码的地址，获得相应，识别

- url不变，验证码会变

- 1.selenium请求登录页面，同时拿到验证码的地址

- 2.获取登录页面中driver中的cookie，交给requests模块发送验证码的请求，识别

- 3.输入验证码，点击登录

4.Selenium的使用总结：

a. 应用场景：

1. 动态html页面请求

2. 登录获取cookies

b. 如何使用

1. 导包并且实例化driver

2. 发送请求

3. 定位获取数据

4. 保存

5. 退出driver

c. Cookies相关方法：

1.get_cookies()

d. 页面等待

1.强制等待

5.Tesseract认识：

a.定义：Tesseract是一个将图像翻译成文字的OCR库

b.安装：pip install pytesseract

c.使用方法：

import pytesseract

from PIL import Image

image = Image.open(jpg)

pytesseract.image_to_string(image)

十二、斗鱼爬虫实例：