用Python写网络爬虫

目录



第1章 网络爬虫简介 1

1.1　网络爬虫何时有用　1

1.2　网络爬虫是否合法　2

1.3　背景调研　3

1.3.1　检查robots.txt　3

1.3.2　检查网站地图　4

1.3.3　估算网站大小　5

1.3.4　识别网站所用技术　7

1.3.5　寻找网站所有者　7

1.4　编写第一个网络爬虫　8

1.4.1　下载网页　9

1.4.2　网站地图爬虫　12

1.4.3　ID遍历爬虫　13

1.4.4　链接爬虫　15

1.5　本章小结　22



第2章　数据抓取　23

2.1　分析网页　23

2.2　三种网页抓取方法　26

2.2.1　正则表达式　26

2.2.2　Beautiful Soup　28

2.2.3　Lxml　30

2.2.4　性能对比　32

2.2.5　结论　35

2.2.6　为链接爬虫添加抓取回调　35

2.3　本章小结　38



第3章　下载缓存　39

3.1　为链接爬虫添加缓存支持　39

3.2　磁盘缓存　42

3.2.1　实现　44

3.2.2　缓存测试　46

3.2.3　节省磁盘空间　46

3.2.4　清理过期数据　47

3.2.5　缺点　48

3.3　数据库缓存　49

3.3.1　NoSQL是什么　50

3.3.2　安装MongoDB　50

3.3.3　MongoDB概述　50

3.3.4　MongoDB缓存实现　52

3.3.5　压缩　54

3.3.6　缓存测试　54

3.4　本章小结　55



第4章　并发下载　57

4.1　100万个网页　57

4.2　串行爬虫　60

4.3　多线程爬虫　60

4.3.1　线程和进程如何工作　61

4.3.2　实现　61

4.3.3　多进程爬虫　63

4.4　性能　67

4.5　本章小结　68



第5章　动态内容　69

5.1　动态网页示例　69

5.2　对动态网页进行逆向工程　72

5.3　渲染动态网页　77

5.3.1　PyQt还是PySide　78

5.3.2　执行JavaScript　78

5.3.3　使用WebKit与网站交互　80

5.3.4　Selenium　85

5.4　本章小结　88



第6章　表单交互　89

6.1　登录表单　90

6.2