本書的基本框架分為八個(gè)項(xiàng)目，項(xiàng)目一、初識(shí)爬蟲，包括認(rèn)識(shí)爬蟲，以及網(wǎng)站robots協(xié)議和反爬蟲技術(shù)三個(gè)學(xué)習(xí)任務(wù)；項(xiàng)目二、網(wǎng)頁(yè)基礎(chǔ)，包括HTTP原理、網(wǎng)頁(yè)基礎(chǔ)知識(shí)、會(huì)話和COOKIE機(jī)制、谷歌瀏覽器開發(fā)者工具的使用等四個(gè)學(xué)習(xí)任務(wù)；項(xiàng)目三、Python基礎(chǔ)，包括搭建python開發(fā)環(huán)境、python基礎(chǔ)語(yǔ)法等六個(gè)任務(wù)。項(xiàng)目四、常用爬取庫(kù)，包括認(rèn)識(shí)HTTP請(qǐng)求、urllib網(wǎng)絡(luò)請(qǐng)求庫(kù)基礎(chǔ)、初識(shí)requests網(wǎng)絡(luò)請(qǐng)求庫(kù)三個(gè)學(xué)習(xí)任務(wù)；項(xiàng)目五、常用解析庫(kù)，包括網(wǎng)頁(yè)解析基礎(chǔ)、XPath解析網(wǎng)頁(yè)、BS解析網(wǎng)頁(yè)、PyQuery解析庫(kù)四個(gè)學(xué)習(xí)任務(wù)。項(xiàng)目六、數(shù)據(jù)存儲(chǔ)，包括數(shù)據(jù)存儲(chǔ)在文本文件、實(shí)戰(zhàn)案例篇；關(guān)系型數(shù)據(jù)庫(kù)介紹、Mysq數(shù)據(jù)庫(kù)的安裝與啟九個(gè)學(xué)習(xí)任務(wù)；項(xiàng)目七、動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)爬取，包括動(dòng)態(tài)網(wǎng)頁(yè)的含義、Selenium的安裝和使用案例、AJAX的概念和AJAX的分析方法、AJAX分析與爬取實(shí)戰(zhàn)四個(gè)學(xué)習(xí)任務(wù)。高級(jí)篇：項(xiàng)目八Scrapy爬蟲框架，包括Scrapy安裝與使用、案例分析兩個(gè)學(xué)習(xí)任務(wù)。