python 爬蟲自學(xué)要多久
一周或者一個(gè)月。如果完全靠自己自學(xué)，又是從零基礎(chǔ)開始學(xué)習(xí)Python的情況下，按照每個(gè)人的學(xué)習(xí)和理解能力的不同，我認(rèn)為大致上需要半年到一年半左右的時(shí)間。
當(dāng)然了，Python學(xué)習(xí)起來還是比較簡(jiǎn)單的，如果有其他編程語言經(jīng)驗(yàn)，入門Python還是非常快的，花1-2個(gè)月左右的時(shí)間學(xué)完基礎(chǔ)，就可以自己編寫一些小的程序練練手了，5-6個(gè)月的時(shí)間就可以上手做項(xiàng)目了。
從一定程度上來說，一些零基礎(chǔ)的初學(xué)者想要利用兩個(gè)月的時(shí)間掌握好Python是不太可能的，學(xué)習(xí)完P(guān)ython后想要應(yīng)聘相對(duì)應(yīng)的工作崗位，即便是選擇最快的學(xué)習(xí)方式也是很難實(shí)現(xiàn)的，無法快速實(shí)現(xiàn)就業(yè)。
教你用Python寫一個(gè)爬蟲，免費(fèi)看小說
這是一個(gè)練習(xí)作品。用python腳本爬取筆趣閣上面的免費(fèi)小說。環(huán)境：python3
類庫：
數(shù)據(jù)源：
原理就是偽裝正常http請(qǐng)求，正常訪問網(wǎng)頁。然后通過bs4重新解析html結(jié)構(gòu)來提取有效數(shù)據(jù)。
包含了偽裝請(qǐng)求頭部，數(shù)據(jù)源配置（如果不考慮擴(kuò)展其他數(shù)據(jù)源，可以寫死）。
config.py文件
fiction.py文件
summary.py文件
catalog.py文件
article.py文件
暫沒有做數(shù)據(jù)保存模塊。如果需要串起來做成一個(gè)完整的項(xiàng)目的話，只需要把小說數(shù)據(jù)結(jié)構(gòu)保存即可（節(jié)省磁盤空間）。通過小說url可以很快速的提取出小說簡(jiǎn)介、目錄、每一章的正文。
如果想要做的更好，可以把目錄，介紹、正文等部分緩存起來，當(dāng)然得有足夠的空間。
如何用Python做爬蟲
1）首先你要明白爬蟲怎樣工作。想象你是一只蜘蛛，現(xiàn)在你被放到了互聯(lián)“網(wǎng)”上。那么，你需要把所有的網(wǎng)頁都看一遍。怎么辦呢？沒問題呀，你就隨便從某個(gè)地方開始，比如說人民日?qǐng)?bào)的首頁，這個(gè)叫initial pages，用$表示吧。
在人民日?qǐng)?bào)的首頁，你看到那個(gè)頁面引向的各種鏈接。于是你很開心地從爬到了“國內(nèi)新聞”那個(gè)頁面。太好了，這樣你就已經(jīng)爬完了倆頁面（首頁和國內(nèi)新聞）！暫且不用管爬下來的頁面怎么處理的，你就想象你把這個(gè)頁面完完整整抄成了個(gè)html放到了你身上。
突然你發(fā)現(xiàn)， 在國內(nèi)新聞這個(gè)頁面上，有一個(gè)鏈接鏈回“首頁”。作為一只聰明的蜘蛛，你肯定知道你不用爬回去的吧，因?yàn)槟阋呀?jīng)看過了啊。所以，你需要用你的腦子，存下你已經(jīng)看過的頁面地址。這樣，每次看到一個(gè)可能需要爬的新鏈接，你就先查查你腦子里是不是已經(jīng)去過這個(gè)頁面地址。如果去過，那就別去了。
好的，理論上如果所有的頁面可以從initial page達(dá)到的話，那么可以證明你一定可以爬完所有的網(wǎng)頁。
那么在python里怎么實(shí)現(xiàn)呢？
很簡(jiǎn)單
import Queue
initial_page = "初始化頁"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進(jìn)行直到?？菔癄€
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊(duì)例中*個(gè)的url
store(current_url) #把這個(gè)url代表的網(wǎng)頁存儲(chǔ)好
for next_url in extract_urls(current_url): #提取把這個(gè)url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫得已經(jīng)很偽代碼了。
所有的爬蟲的backbone都在這里，下面分析一下為什么爬蟲事實(shí)上是個(gè)非常復(fù)雜的東西——搜索引擎公司通常有一整個(gè)團(tuán)隊(duì)來維護(hù)和開發(fā)。
2）效率
如果你直接加工一下上面的代碼直接運(yùn)行的話，你需要一整年才能爬下整個(gè)豆瓣的內(nèi)容。更別說Google這樣的搜索引擎需要爬下全網(wǎng)的內(nèi)容了。
問題出在哪呢？需要爬的網(wǎng)頁實(shí)在太多太多了，而上面的代碼太慢太慢了。設(shè)想全網(wǎng)有N個(gè)網(wǎng)站，那么分析一下判重的復(fù)雜度就是N*log(N)，因?yàn)樗芯W(wǎng)頁要遍歷一次，而每次判重用set的話需要log(N)的復(fù)雜度。OK，OK，我知道python的set實(shí)現(xiàn)是hash——不過這樣還是太慢了，至少內(nèi)存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡(jiǎn)單講它仍然是一種hash的方法，但是它的特點(diǎn)是，它可以使用固定的內(nèi)存（不隨url的數(shù)量而增長）以O(shè)(1)的效率判定url是否已經(jīng)在set中?？上煜聸]有白吃的午餐，它的*問題在于，如果這個(gè)url不在set中，BF可以*確定這個(gè)url沒有看過。但是如果這個(gè)url在set中，它會(huì)告訴你：這個(gè)url應(yīng)該已經(jīng)出現(xiàn)過，不過我有2%的不確定性。注意這里的不確定性在你分配的內(nèi)存足夠大的時(shí)候，可以變得很小很少。一個(gè)簡(jiǎn)單的教程:Bloom Filters by Example
注意到這個(gè)特點(diǎn)，url如果被看過，那么可能以小概率重復(fù)看一看（沒關(guān)系，多看看不會(huì)累死）。但是如果沒被看過，一定會(huì)被看一下（這個(gè)很重要，不然我們就要漏掉一些網(wǎng)頁了?。?[IMPORTANT: 此段有問題，請(qǐng)暫時(shí)略過]
好，現(xiàn)在已經(jīng)接近處理判重最快的方法了。另外一個(gè)瓶頸——你只有一臺(tái)機(jī)器。不管你的帶寬有多大，只要你的機(jī)器下載網(wǎng)頁的速度是瓶頸的話，那么你只有加快這個(gè)速度。用一臺(tái)機(jī)子不夠的話——用很多臺(tái)吧！當(dāng)然，我們假設(shè)每臺(tái)機(jī)子都已經(jīng)進(jìn)了*的效率——使用多線程（python的話，多進(jìn)程吧）。
3）集群化抓取
爬取豆瓣的時(shí)候，我總共用了100多臺(tái)機(jī)器晝夜不停地運(yùn)行了一個(gè)月。想象如果只用一臺(tái)機(jī)子你就得運(yùn)行100個(gè)月了...
那么，假設(shè)你現(xiàn)在有100臺(tái)機(jī)器可以用，怎么用python實(shí)現(xiàn)一個(gè)分布式的爬取算法呢？
我們把這100臺(tái)中的99臺(tái)運(yùn)算能力較小的機(jī)器叫作slave，另外一臺(tái)較大的機(jī)器叫作master，那么回顧上面代碼中的url_queue，如果我們能把這個(gè)queue放到這臺(tái)master機(jī)器上，所有的slave都可以通過網(wǎng)絡(luò)跟master聯(lián)通，每當(dāng)一個(gè)slave完成下載一個(gè)網(wǎng)頁，就向master請(qǐng)求一個(gè)新的網(wǎng)頁來抓取。而每次slave新抓到一個(gè)網(wǎng)頁，就把這個(gè)網(wǎng)頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現(xiàn)在master只發(fā)送確定沒有被訪問過的url給slave。Bloom Filter放到master的內(nèi)存里，而被訪問過的url放到運(yùn)行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)
考慮如何用python實(shí)現(xiàn)：
在各臺(tái)slave上裝好scrapy，那么各臺(tái)機(jī)子就變成了一臺(tái)有抓取能力的slave，在master上裝好Redis和rq用作分布式隊(duì)列。
代碼于是寫成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
_queue = ()
bf = ()
initial_pages = "www..com"
while(True):
if request == 'GET':
if _queue.size()>0:
send(_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實(shí)你能想到，有人已經(jīng)給你寫好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及后處理
雖然上面用很多“簡(jiǎn)單”，但是真正要實(shí)現(xiàn)一個(gè)商業(yè)規(guī)?？捎玫呐老x并不是一件容易的事。上面的代碼用來爬一個(gè)整體的網(wǎng)站幾乎沒有太大的問題。
但是如果附加上你需要這些后續(xù)處理，比如
有效地存儲(chǔ)（數(shù)據(jù)庫應(yīng)該怎樣安排）
有效地判重（這里指網(wǎng)頁判重，咱可不想把人民日?qǐng)?bào)和抄襲它的大民日?qǐng)?bào)都爬一遍）
有效地信息抽?。ū热缭趺礃映槿〕鼍W(wǎng)頁上所有的地址抽取出來，“朝陽區(qū)奮進(jìn)路*道”），搜索引擎通常不需要存儲(chǔ)所有的信息，比如圖片我存來干嘛...
及時(shí)更新（預(yù)測(cè)這個(gè)網(wǎng)頁多久會(huì)更新一次）
如你所想，這里每一個(gè)點(diǎn)都可以供很多研究者十?dāng)?shù)年的研究。雖然如此，
“路漫漫其修遠(yuǎn)兮,吾將上下而求索”。
所以，不要問怎么入門，直接上路就好了：）
如何入門 Python 爬蟲
現(xiàn)在之所以有這么多的小伙伴熱衷于爬蟲技術(shù)，無外乎是因?yàn)榕老x可以幫我們做很多事情，比如搜索引擎、采集數(shù)據(jù)、廣告過濾等，以Python為例，Python爬蟲可以用于數(shù)據(jù)分析，在數(shù)據(jù)抓取方面發(fā)揮巨大的作用。但是這并不意味著單純掌握一門Python語言，就對(duì)爬蟲技術(shù)觸類旁通，要學(xué)習(xí)的知識(shí)和規(guī)范還有喜很多，包括但不僅限于HTML 知識(shí)、HTTP/HTTPS 協(xié)議的基本知識(shí)、正則表達(dá)式、數(shù)據(jù)庫知識(shí)，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規(guī)模爬蟲，還需要了解分布式的概念、消息隊(duì)列、常用的數(shù)據(jù)結(jié)構(gòu)和算法、緩存，甚至還包括機(jī)器學(xué)習(xí)的應(yīng)用，大規(guī)模的系統(tǒng)背后都是靠很多技術(shù)來支撐的。
零基礎(chǔ)如何學(xué)爬蟲技術(shù)？對(duì)于迷茫的初學(xué)者來說，爬蟲技術(shù)起步學(xué)習(xí)階段，最重要的就是明確學(xué)習(xí)路徑，找準(zhǔn)學(xué)習(xí)方法，唯有如此，在良好的學(xué)習(xí)習(xí)慣督促下，后期的系統(tǒng)學(xué)習(xí)才會(huì)事半功倍，游刃有余。
用Python寫爬蟲，首先需要會(huì)Python，把基礎(chǔ)語法搞懂，知道怎么使用函數(shù)、類和常用的數(shù)據(jù)結(jié)構(gòu)如list、dict中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 HTTP協(xié)議的基本原理，雖然 HTTP 規(guī)范用一本書都寫不完，但深入的內(nèi)容可以放以后慢慢去看，理論與實(shí)踐相結(jié)合后期學(xué)習(xí)才會(huì)越來越輕松。關(guān)于爬蟲學(xué)習(xí)的具體步驟，我大概羅列了以下幾大部分，大家可以參考：
網(wǎng)絡(luò)爬蟲基礎(chǔ)知識(shí):
爬蟲的定義
爬蟲的作用
Http協(xié)議
基本抓包工具(Fiddler)使用
Python模塊實(shí)現(xiàn)爬蟲：
urllib3、requests、lxml、bs4 模塊大體作用講解
使用requests模塊 get 方式獲取靜態(tài)頁面數(shù)據(jù)
使用requests模塊 post 方式獲取靜態(tài)頁面數(shù)據(jù)
使用requests模塊獲取 ajax 動(dòng)態(tài)頁面數(shù)據(jù)
使用requests模塊模擬登錄網(wǎng)站
使用Tesseract進(jìn)行驗(yàn)證碼識(shí)別
Scrapy框架與Scrapy-Redis：
Scrapy 爬蟲框架大體說明
Scrapy spider 類
Scrapy item 及 pipeline
Scrapy 類
通過Scrapy-Redis 實(shí)現(xiàn)分布式爬蟲
借助自動(dòng)化測(cè)試工具和瀏覽器爬取數(shù)據(jù)：
Selenium + PhantomJS 說明及簡(jiǎn)單實(shí)例
Selenium + PhantomJS 實(shí)現(xiàn)網(wǎng)站登錄
Selenium + PhantomJS 實(shí)現(xiàn)動(dòng)態(tài)頁面數(shù)據(jù)爬取
爬蟲項(xiàng)目實(shí)戰(zhàn)：
分布式爬蟲+ 打造搜索引擎
如何用Python做爬蟲？
在我們?nèi)粘Ｉ暇W(wǎng)瀏覽網(wǎng)頁的時(shí)候，經(jīng)常會(huì)看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設(shè)計(jì)的素材。
我們最常規(guī)的做法就是通過鼠標(biāo)右鍵，選擇另存為。但有些圖片鼠標(biāo)右鍵的時(shí)候并沒有另存為選項(xiàng)，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧其實(shí)你很厲害的，右鍵查看頁面源代碼。
我們可以通過python?來實(shí)現(xiàn)這樣一個(gè)簡(jiǎn)單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實(shí)現(xiàn)這樣一個(gè)功能。
具體步驟
獲取整個(gè)頁面數(shù)據(jù)首先我們可以先獲取要下載圖片的整個(gè)頁面信息。
getjpg.py
#coding=utf-8import urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return html
html = getHtml(" html
Urllib?模塊提供了讀取web頁面數(shù)據(jù)的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)。首先，我們定義了一個(gè)getHtml()函數(shù):
urllib.urlopen()方法用于打開一個(gè)URL地址。
read()方法用于讀取URL上的數(shù)據(jù)，向getHtml()函數(shù)傳遞一個(gè)網(wǎng)址，并把整個(gè)頁面下載下來。執(zhí)行程序就會(huì)把整個(gè)網(wǎng)頁打印輸出。
2.篩選頁面中想要的數(shù)據(jù)
Python?提供了非常強(qiáng)大的正則表達(dá)式，我們需要先要了解一點(diǎn)python?正則表達(dá)式的知識(shí)才行。
假如我們百度貼吧找到了幾張漂亮的壁紙，通過到前段查看工具。找到了圖片的地址，如：src=”
修改代碼如下：
import reimport urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html) ? ?return imglist ? ? ?
html = getHtml(" getImg(html)
我們又創(chuàng)建了getImg()函數(shù)，用于在獲取的整個(gè)頁面中篩選需要的圖片連接。re模塊主要包含了正則表達(dá)式：
re.compile()?可以把正則表達(dá)式編譯成一個(gè)正則表達(dá)式對(duì)象.
re.findall()?方法讀取html?中包含?imgre（正則表達(dá)式）的數(shù)據(jù)。
運(yùn)行腳本將得到整個(gè)頁面中包含圖片的URL地址。
3.將頁面篩選的數(shù)據(jù)保存到本地
把篩選的圖片地址通過for循環(huán)遍歷并保存到本地，代碼如下：
#coding=utf-8import redef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0 ? ?for imgurl in imglist:
urllib.(imgurl,'%s.jpg' % x)
x+=1html = getHtml(" getImg(html)
這里的核心是用到了urllib.()方法，直接將遠(yuǎn)程數(shù)據(jù)下載到本地。
通過一個(gè)for循環(huán)對(duì)獲取的圖片連接進(jìn)行遍歷，為了使圖片的文件名看上去更規(guī)范，對(duì)其進(jìn)行重命名，命名規(guī)則通過x變量加1。保存的位置默認(rèn)為程序的存放目錄。
程序運(yùn)行完成，將在目錄下看到下載到本地的文件。
Python爬蟲如何寫？
先檢查是否有APIAPI是網(wǎng)站官方提供的數(shù)據(jù)接口，如果通過調(diào)用API采集數(shù)據(jù)，則相當(dāng)于在網(wǎng)站允許的范圍內(nèi)采集，這樣既不會(huì)有道德法律風(fēng)險(xiǎn)，也沒有網(wǎng)站故意設(shè)置的障礙；不過調(diào)用API接口的訪問則處于網(wǎng)站的控制中，網(wǎng)站可以用來收費(fèi)，可以用來限制訪問上限等。整體來看，如果數(shù)據(jù)采集的需求并不是很獨(dú)特，那么有API則應(yīng)優(yōu)先采用調(diào)用API的方式。
數(shù)據(jù)結(jié)構(gòu)分析和數(shù)據(jù)存儲(chǔ)
爬蟲需求要十分清晰，具體表現(xiàn)為需要哪些字段，這些字段可以是網(wǎng)頁上現(xiàn)有的，也可以是根據(jù)網(wǎng)頁上現(xiàn)有的字段進(jìn)一步計(jì)算的，這些字段如何構(gòu)建表，多張表如何連接等。值得一提的是，確定字段環(huán)節(jié)，不要只看少量的網(wǎng)頁，因?yàn)閱蝹€(gè)網(wǎng)頁可以缺少別的同類網(wǎng)頁的字段，這既有可能是由于網(wǎng)站的問題，也可能是用戶行為的差異，只有多觀察一些網(wǎng)頁才能綜合抽象出具有普適性的關(guān)鍵字段——這并不是幾分鐘看幾個(gè)網(wǎng)頁就可以決定的簡(jiǎn)單事情，如果遇上了那種臃腫、混亂的網(wǎng)站，可能坑非常多。
對(duì)于大規(guī)模爬蟲，除了本身要采集的數(shù)據(jù)外，其他重要的中間數(shù)據(jù)（比如頁面Id或者url）也建議存儲(chǔ)下來，這樣可以不必每次重新爬取id。
數(shù)據(jù)庫并沒有固定的選擇，本質(zhì)仍是將Python里的數(shù)據(jù)寫到庫里，可以選擇關(guān)系型數(shù)據(jù)庫MySQL等，也可以選擇非關(guān)系型數(shù)據(jù)庫MongoDB等；對(duì)于普通的結(jié)構(gòu)化數(shù)據(jù)一般存在關(guān)系型數(shù)據(jù)庫即可。是一個(gè)成熟好用的數(shù)據(jù)庫連接框架，其引擎可與Pandas配套使用，把數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)連接起來，一氣呵成。
數(shù)據(jù)流分析
對(duì)于要批量爬取的網(wǎng)頁，往上一層，看它的入口在哪里；這個(gè)是根據(jù)采集范圍來確定入口，比如若只想爬一個(gè)地區(qū)的數(shù)據(jù)，那從該地區(qū)的主頁切入即可；但若想爬*數(shù)據(jù)，則應(yīng)更往上一層，從*的入口切入。一般的網(wǎng)站網(wǎng)頁都以樹狀結(jié)構(gòu)為主，找到切入點(diǎn)作為根節(jié)點(diǎn)一層層往里進(jìn)入即可。
值得注意的一點(diǎn)是，一般網(wǎng)站都不會(huì)直接把全量的數(shù)據(jù)做成列表給你一頁頁往下翻直到遍歷完數(shù)據(jù)，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個(gè)，如果直接這么切入只能訪問3000個(gè)，遠(yuǎn)遠(yuǎn)低于真實(shí)數(shù)據(jù)量；因此先切片，再整合的數(shù)據(jù)思維可以獲得更大的數(shù)據(jù)量。顯然100頁是系統(tǒng)設(shè)定，只要超過300個(gè)就只顯示100頁，因此可以通過其他的篩選條件不斷細(xì)分，只到篩選結(jié)果小于等于300頁就表示該條件下沒有缺漏；*把各種條件下的篩選結(jié)果集合在一起，就能夠盡可能地還原真實(shí)數(shù)據(jù)量。
明確了大規(guī)模爬蟲的數(shù)據(jù)流動(dòng)機(jī)制，下一步就是針對(duì)單個(gè)網(wǎng)頁進(jìn)行解析，然后把這個(gè)模式復(fù)制到整體。對(duì)于單個(gè)網(wǎng)頁，采用抓包工具可以查看它的請(qǐng)求方式，是get還是post，有沒有提交表單，欲采集的數(shù)據(jù)是寫入源代碼里還是通過AJAX調(diào)用JSON數(shù)據(jù)。
同樣的道理，不能只看一個(gè)頁面，要觀察多個(gè)頁面，因?yàn)榕颗老x要弄清這些大量頁面url以及參數(shù)的規(guī)律，以便可以自動(dòng)構(gòu)造；有的網(wǎng)站的url以及關(guān)鍵參數(shù)是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構(gòu)造，這種情況下要批量爬蟲，要么找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要么采用下文所述的模擬瀏覽器的方式。
數(shù)據(jù)采集
之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優(yōu)勢(shì)更明顯，受眾更廣，這得益于其成熟的爬蟲框架，以及其他的在計(jì)算機(jī)系統(tǒng)上更好的性能。scrapy是一個(gè)成熟的爬蟲框架，直接往里套用就好，比較適合新手學(xué)習(xí)；requests是一個(gè)比原生的urllib包更簡(jiǎn)潔強(qiáng)大的包，適合作定制化的爬蟲功能。requests主要提供一個(gè)基本訪問功能，把網(wǎng)頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數(shù)，就可以正常訪問，status_code為200，并成功得到網(wǎng)頁源代碼；但是也有某些反爬蟲較為嚴(yán)格的網(wǎng)站，這么直接訪問會(huì)被禁止；或者說status為200也不會(huì)返回正常的網(wǎng)頁源碼，而是要求寫驗(yàn)證碼的js腳本等。
下載到了源碼之后，如果數(shù)據(jù)就在源碼中，這種情況是最簡(jiǎn)單的，這就表示已經(jīng)成功獲取到了數(shù)據(jù)，剩下的無非就是數(shù)據(jù)提取、清洗、入庫。但若網(wǎng)頁上有，然而源代碼里沒有的，就表示數(shù)據(jù)寫在其他地方，一般而言是通過AJAX異步加載JSON數(shù)據(jù)，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。
解析工具
源碼下載后，就是解析數(shù)據(jù)了，常用的有兩種方法，一種是用對(duì)樹狀HTML進(jìn)行解析，另一種是通過正則表達(dá)式從文本中抽取數(shù)據(jù)。
比較簡(jiǎn)單，支持Xpath和兩種途徑，而且像Chrome這類瀏覽器一般都已經(jīng)把各個(gè)結(jié)點(diǎn)的Xpath或者標(biāo)記好了，直接復(fù)制即可。以為例，可以選擇tag、id、class等多種方式進(jìn)行定位選擇，如果有id建議選id，因?yàn)楦鶕?jù)HTML語法，一個(gè)id只能綁定一個(gè)標(biāo)簽。
正則表達(dá)式很強(qiáng)大，但構(gòu)造起來有點(diǎn)復(fù)雜，需要專門去學(xué)習(xí)。因?yàn)橄螺d下來的源碼格式就是字符串，所以正則表達(dá)式可以大顯身手，而且處理速度很快。
對(duì)于HTML結(jié)構(gòu)固定，即同樣的字段處tag、id和class名稱都相同，采用解析是一種簡(jiǎn)單高效的方案，但有的網(wǎng)站混亂，同樣的數(shù)據(jù)在不同頁面間HTML結(jié)構(gòu)不同，這種情況下就不太好使；如果數(shù)據(jù)本身格式固定，則用正則表達(dá)式更方便。比如以下的例子，這兩個(gè)都是深圳地區(qū)某個(gè)地方的經(jīng)度，但一個(gè)頁面的class是long，一個(gè)頁面的class是longitude，根據(jù)class來選擇就沒辦法同時(shí)滿足2個(gè)，但只要注意到深圳地區(qū)的經(jīng)度都是介于113到114之間的浮點(diǎn)數(shù)，就可以通過正則表達(dá)式"11[3-4].\d+"來使兩個(gè)都滿足。
數(shù)據(jù)整理
一般而言，爬下來的原始數(shù)據(jù)都不是清潔的，所以在入庫前要先整理；由于大部分都是字符串，所以主要也就是字符串的處理方式了。
字符串自帶的方法可以滿足大部分簡(jiǎn)單的處理需求，比如strip可以去掉首尾不需要的字符或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然后截取一部分。
如果字符串處理的需求太復(fù)雜以致常規(guī)的字符串處理方法不好解決，那就要請(qǐng)出正則表達(dá)式這個(gè)大殺器。
Pandas是Python中常用的數(shù)據(jù)處理模塊，雖然作為一個(gè)從R轉(zhuǎn)過來的人一直覺得這個(gè)模仿R的包實(shí)在是太難用了。Pandas不僅可以進(jìn)行向量化處理、篩選、分組、計(jì)算，還能夠整合成DataFrame，將采集的數(shù)據(jù)整合成一張表，呈現(xiàn)最終的存儲(chǔ)效果。
寫入數(shù)據(jù)庫
如果只是中小規(guī)模的爬蟲，可以把*的爬蟲結(jié)果匯合成一張表，*導(dǎo)出成一張表格以便后續(xù)使用；但對(duì)于表數(shù)量多、單張表容量大的大規(guī)模爬蟲，再導(dǎo)出成一堆零散的表就不合適了，肯定還是要放在數(shù)據(jù)庫中，既方便存儲(chǔ)，也方便進(jìn)一步整理。
寫入數(shù)據(jù)庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動(dòng)建表，對(duì)于對(duì)表結(jié)構(gòu)沒有嚴(yán)格要求的情況下可以采用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報(bào)錯(cuò)，雖然這個(gè)認(rèn)為不太合理；另一種是利用數(shù)據(jù)庫引擎來執(zhí)行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結(jié)構(gòu)完全是自己控制之下。Pandas與SQL都可以用來建表、整理數(shù)據(jù)，結(jié)合起來使用效率更高。
python網(wǎng)絡(luò)爬蟲怎么學(xué)習(xí)
鏈接： 提取碼：2b6c
課程簡(jiǎn)介
畢業(yè)不知如何就業(yè)？工作效率低經(jīng)常挨罵？很多次想學(xué)編程都沒有學(xué)會(huì)？
Python 實(shí)戰(zhàn)：四周實(shí)現(xiàn)爬蟲系統(tǒng)，無需編程基礎(chǔ)，二十八天掌握一項(xiàng)謀生技能。
帶你學(xué)到如何從網(wǎng)上批量獲得幾十萬數(shù)據(jù)，如何處理海量大數(shù)據(jù)，數(shù)據(jù)可視化及網(wǎng)站制作。
課程目錄
開始之前，魔力手冊(cè) for 實(shí)戰(zhàn)學(xué)員預(yù)習(xí)
*周：學(xué)會(huì)爬取網(wǎng)頁信息
第二周：學(xué)會(huì)爬取大規(guī)模數(shù)據(jù)
第三周：數(shù)據(jù)統(tǒng)計(jì)與分析
第四周：搭建 Django 數(shù)據(jù)可視化網(wǎng)站
......
如何學(xué)習(xí)python爬蟲
爬蟲是入門Python*的方式，沒有之一。 Python有很多應(yīng)用的方向，比如后臺(tái)開發(fā)、web開發(fā)、科學(xué)計(jì)算等等，但爬蟲對(duì)于初學(xué)者而
言更友好，原理簡(jiǎn)單，幾行代碼就能實(shí)現(xiàn)基本的爬蟲，學(xué)習(xí)的過程更加平滑，你能體會(huì)更大的成就感。
掌握基本的爬蟲后，你再去學(xué)習(xí)Python數(shù)據(jù)分析、web開發(fā)甚至機(jī)器學(xué)習(xí)，都會(huì)更得心應(yīng)手。因?yàn)檫@個(gè)過程中，Python基本語法、庫的
使用，以及如何查找文檔你都非常熟悉了。
對(duì)于小白來說，爬蟲可能是一件非常復(fù)雜、技術(shù)門檻很高的事情。比如有的人則認(rèn)為先要掌握網(wǎng)頁的知識(shí)，遂 開始 HTMLCSS，結(jié)果入了前端的坑 ，瘁……
但掌握正確的方法，在短時(shí)間內(nèi)做到能夠爬取主流網(wǎng)站的數(shù)據(jù)，其實(shí)非常容易實(shí)現(xiàn)，但建議你從 一開始就要有一個(gè)具體的目標(biāo)。
在目標(biāo)的驅(qū)動(dòng)下，你的學(xué)習(xí)才會(huì)更加精準(zhǔn)和高效。 那些所有你認(rèn)為必須的前置知識(shí)，都是可以在完成目標(biāo)的過程中學(xué)到的。 這里給你一
條平滑的、零基礎(chǔ)快速入門的學(xué)習(xí)路徑。
python學(xué)習(xí)網(wǎng)，免費(fèi)的python學(xué)習(xí)網(wǎng)站，歡迎在線學(xué)習(xí)！
學(xué)習(xí) Python 包并實(shí)現(xiàn)基本的爬蟲過程
大部分爬蟲都是按 “發(fā)送請(qǐng)求——獲得頁面——解析頁面——抽取并儲(chǔ)存內(nèi)容” 這樣的流程來進(jìn)行，這其實(shí)也是模擬了我們使用瀏覽器
獲取網(wǎng)頁信息的過程。
Python中爬蟲相關(guān)的包很多：urllib、requests、bs4、scrapy、pyspider 等， 建議從requests+Xpath 開始 ，requests 負(fù)責(zé)連接網(wǎng)
站，返回網(wǎng)頁，Xpath 用于解析網(wǎng)頁，便于抽取數(shù)據(jù)。
如果你用過 ，會(huì)發(fā)現(xiàn) Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多， 一
般的靜態(tài)網(wǎng)站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了 。
掌握各種技巧，應(yīng)對(duì)特殊網(wǎng)站的反爬措施
當(dāng)然，爬蟲過程中也會(huì)經(jīng)歷一些絕望啊，比如被網(wǎng)站封IP、比如各種奇怪的驗(yàn)證碼、userAgent訪問限制、各種動(dòng)態(tài)加載等等。
遇到這些反爬蟲的手段，當(dāng)然還需要一些高級(jí)的技巧來應(yīng)對(duì)，常規(guī)的比如 訪問頻率控制、使用代理IP池、抓包、驗(yàn)證碼的OCR處理等等 。
往往網(wǎng)站在高效開發(fā)和反爬蟲之間會(huì)偏向前者，這也為爬蟲提供了空間，掌握這些應(yīng)對(duì)反爬蟲的技巧，絕大部分的網(wǎng)站已經(jīng)難不到你了。
學(xué)習(xí) scrapy，搭建工程化的爬蟲
掌握前面的技術(shù)一般量級(jí)的數(shù)據(jù)和代碼基本沒有問題了，但是在遇到非常復(fù)雜的情況，可能仍然會(huì)力不從心，這個(gè)時(shí)候，強(qiáng)大的 scrapy
框架就非常有用了。
scrapy 是一個(gè)功能非常強(qiáng)大的爬蟲框架，它不僅能便捷地構(gòu)建request，還有強(qiáng)大的 selector 能夠方便地解析 response，然而它最讓人
驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學(xué)會(huì) scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
學(xué)習(xí)數(shù)據(jù)庫基礎(chǔ)，應(yīng)對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)
爬回來的數(shù)據(jù)量小的時(shí)候，你可以用文檔的形式來存儲(chǔ)，一旦數(shù)據(jù)量大了，這就有點(diǎn)行不通了。所以掌握一種數(shù)據(jù)庫是必須的，學(xué)習(xí)目前
比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲(chǔ)一些非結(jié)構(gòu)化的數(shù)據(jù) ，比如各種評(píng)論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在
Python中操作MongoDB。
因?yàn)檫@里要用到的數(shù)據(jù)庫知識(shí)其實(shí)非常簡(jiǎn)單，主要是 數(shù)據(jù)如何入庫、如何進(jìn)行提取 ，在需要的時(shí)候再學(xué)習(xí)就行。
分布式爬蟲，實(shí)現(xiàn)大規(guī)模并發(fā)采集
爬取基本數(shù)據(jù)已經(jīng)不是問題了，你的瓶頸會(huì)集中到爬取海量數(shù)據(jù)的效率。這個(gè)時(shí)候，相信你會(huì)很自然地接觸到一個(gè)很厲害的名字： 分布
式爬蟲 。
分布式這個(gè)東西，聽起來很恐怖， 但其實(shí)就是利用多線程的原理讓多個(gè)爬蟲同時(shí)工作 ，需要你掌握 Scrapy + MongoDB + Redis 這三種工具 。
Scrapy 前面我們說過了，用于做基本的頁面爬取，MongoDB 用于存儲(chǔ)爬取的數(shù)據(jù)，Redis 則用來存儲(chǔ)要爬取的網(wǎng)頁隊(duì)列，也就是任務(wù)
隊(duì)列。
所以有些東西看起來很嚇人，但其實(shí)分解開來，也不過如此。當(dāng)你能夠?qū)懛植际降呐老x的時(shí)候，那么你可以去嘗試打造一些基本的爬蟲架
構(gòu)了，實(shí)現(xiàn)一些更加自動(dòng)化的數(shù)據(jù)獲取。
你看，這一條學(xué)習(xí)路徑下來，你已然可以成為老司機(jī)了，非常的順暢。所以在一開始的時(shí)候，盡量不要系統(tǒng)地去啃一些東西，找一個(gè)實(shí)際
的項(xiàng)目（開始可以從豆瓣、小豬這種簡(jiǎn)單的入手），直接開始就好 。