python 爬蟲自學要多久
一周或者一個月。如果完全靠自己自學，又是從零基礎開始學習Python的情況下，按照每個人的學習和理解能力的不同，我認為大致上需要半年到一年半左右的時間。
當然了，Python學習起來還是比較簡單的，如果有其他編程語言經驗，入門Python還是非?？斓?，花1-2個月左右的時間學完基礎，就可以自己編寫一些小的程序練練手了，5-6個月的時間就可以上手做項目了。
從一定程度上來說，一些零基礎的初學者想要利用兩個月的時間掌握好Python是不太可能的，學習完Python后想要應聘相對應的工作崗位，即便是選擇最快的學習方式也是很難實現的，無法快速實現就業(yè)。
教你用Python寫一個爬蟲，免費看小說
這是一個練習作品。用python腳本爬取筆趣閣上面的免費小說。環(huán)境：python3
類庫：
數據源：
原理就是偽裝正常http請求，正常訪問網頁。然后通過bs4重新解析html結構來提取有效數據。
包含了偽裝請求頭部，數據源配置（如果不考慮擴展其他數據源，可以寫死）。
config.py文件
fiction.py文件
summary.py文件
catalog.py文件
article.py文件
暫沒有做數據保存模塊。如果需要串起來做成一個完整的項目的話，只需要把小說數據結構保存即可（節(jié)省磁盤空間）。通過小說url可以很快速的提取出小說簡介、目錄、每一章的正文。
如果想要做的更好，可以把目錄，介紹、正文等部分緩存起來，當然得有足夠的空間。
如何用Python做爬蟲
1）首先你要明白爬蟲怎樣工作。想象你是一只蜘蛛，現在你被放到了互聯(lián)“網”上。那么，你需要把所有的網頁都看一遍。怎么辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。
在人民日報的首頁，你看到那個頁面引向的各種鏈接。于是你很開心地從爬到了“國內新聞”那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎么處理的，你就想象你把這個頁面完完整整抄成了個html放到了你身上。
突然你發(fā)現， 在國內新聞這個頁面上，有一個鏈接鏈回“首頁”。作為一只聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。
好的，理論上如果所有的頁面可以從initial page達到的話，那么可以證明你一定可以爬完所有的網頁。
那么在python里怎么實現呢？
很簡單
import Queue
initial_page = "初始化頁"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進行直到?？菔癄€
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中*個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫得已經很偽代碼了。
所有的爬蟲的backbone都在這里，下面分析一下為什么爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發(fā)。
2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。
問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那么分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中?？上煜聸]有白吃的午餐，它的*問題在于，如果這個url不在set中，BF可以*確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example
注意到這個特點，url如果被看過，那么可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]
好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一臺機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那么你只有加快這個速度。用一臺機子不夠的話——用很多臺吧！當然，我們假設每臺機子都已經進了*的效率——使用多線程（python的話，多進程吧）。
3）集群化抓取
爬取豆瓣的時候，我總共用了100多臺機器晝夜不停地運行了一個月。想象如果只用一臺機子你就得運行100個月了...
那么，假設你現在有100臺機器可以用，怎么用python實現一個分布式的爬取算法呢？
我們把這100臺中的99臺運算能力較小的機器叫作slave，另外一臺較大的機器叫作master，那么回顧上面代碼中的url_queue，如果我們能把這個queue放到這臺master機器上，所有的slave都可以通過網絡跟master聯(lián)通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發(fā)送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)
考慮如何用python實現：
在各臺slave上裝好scrapy，那么各臺機子就變成了一臺有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。
代碼于是寫成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
_queue = ()
bf = ()
initial_pages = "www..com"
while(True):
if request == 'GET':
if _queue.size()>0:
send(_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及后處理
雖然上面用很多“簡單”，但是真正要實現一個商業(yè)規(guī)模可用的爬蟲并不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。
但是如果附加上你需要這些后續(xù)處理，比如
有效地存儲（數據庫應該怎樣安排）
有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）
有效地信息抽?。ū热缭趺礃映槿〕鼍W頁上所有的地址抽取出來，“朝陽區(qū)奮進路*道”），搜索引擎通常不需要存儲所有的信息，比如圖片我存來干嘛...
及時更新（預測這個網頁多久會更新一次）
如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
“路漫漫其修遠兮,吾將上下而求索”。
所以，不要問怎么入門，直接上路就好了：）
如何入門 Python 爬蟲
現在之所以有這么多的小伙伴熱衷于爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜索引擎、采集數據、廣告過濾等，以Python為例，Python爬蟲可以用于數據分析，在數據抓取方面發(fā)揮巨大的作用。但是這并不意味著單純掌握一門Python語言，就對爬蟲技術觸類旁通，要學習的知識和規(guī)范還有喜很多，包括但不僅限于HTML 知識、HTTP/HTTPS 協(xié)議的基本知識、正則表達式、數據庫知識，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規(guī)模爬蟲，還需要了解分布式的概念、消息隊列、常用的數據結構和算法、緩存，甚至還包括機器學習的應用，大規(guī)模的系統(tǒng)背后都是靠很多技術來支撐的。
零基礎如何學爬蟲技術？對于迷茫的初學者來說，爬蟲技術起步學習階段，最重要的就是明確學習路徑，找準學習方法，唯有如此，在良好的學習習慣督促下，后期的系統(tǒng)學習才會事半功倍，游刃有余。
用Python寫爬蟲，首先需要會Python，把基礎語法搞懂，知道怎么使用函數、類和常用的數據結構如list、dict中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 HTTP協(xié)議的基本原理，雖然 HTTP 規(guī)范用一本書都寫不完，但深入的內容可以放以后慢慢去看，理論與實踐相結合后期學習才會越來越輕松。關于爬蟲學習的具體步驟，我大概羅列了以下幾大部分，大家可以參考：
網絡爬蟲基礎知識:
爬蟲的定義
爬蟲的作用
Http協(xié)議
基本抓包工具(Fiddler)使用
Python模塊實現爬蟲：
urllib3、requests、lxml、bs4 模塊大體作用講解
使用requests模塊 get 方式獲取靜態(tài)頁面數據
使用requests模塊 post 方式獲取靜態(tài)頁面數據
使用requests模塊獲取 ajax 動態(tài)頁面數據
使用requests模塊模擬登錄網站
使用Tesseract進行驗證碼識別
Scrapy框架與Scrapy-Redis：
Scrapy 爬蟲框架大體說明
Scrapy spider 類
Scrapy item 及 pipeline
Scrapy 類
通過Scrapy-Redis 實現分布式爬蟲
借助自動化測試工具和瀏覽器爬取數據：
Selenium + PhantomJS 說明及簡單實例
Selenium + PhantomJS 實現網站登錄
Selenium + PhantomJS 實現動態(tài)頁面數據爬取
爬蟲項目實戰(zhàn)：
分布式爬蟲+ 打造搜索引擎
如何用Python做爬蟲？
在我們日常上網瀏覽網頁的時候，經常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設計的素材。
我們最常規(guī)的做法就是通過鼠標右鍵，選擇另存為。但有些圖片鼠標右鍵的時候并沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧其實你很厲害的，右鍵查看頁面源代碼。
我們可以通過python?來實現這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現這樣一個功能。
具體步驟
獲取整個頁面數據首先我們可以先獲取要下載圖片的整個頁面信息。
getjpg.py
#coding=utf-8import urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return html
html = getHtml(" html
Urllib?模塊提供了讀取web頁面數據的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數據。首先，我們定義了一個getHtml()函數:
urllib.urlopen()方法用于打開一個URL地址。
read()方法用于讀取URL上的數據，向getHtml()函數傳遞一個網址，并把整個頁面下載下來。執(zhí)行程序就會把整個網頁打印輸出。
2.篩選頁面中想要的數據
Python?提供了非常強大的正則表達式，我們需要先要了解一點python?正則表達式的知識才行。
假如我們百度貼吧找到了幾張漂亮的壁紙，通過到前段查看工具。找到了圖片的地址，如：src=”
修改代碼如下：
import reimport urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html) ? ?return imglist ? ? ?
html = getHtml(" getImg(html)
我們又創(chuàng)建了getImg()函數，用于在獲取的整個頁面中篩選需要的圖片連接。re模塊主要包含了正則表達式：
re.compile()?可以把正則表達式編譯成一個正則表達式對象.
re.findall()?方法讀取html?中包含?imgre（正則表達式）的數據。
運行腳本將得到整個頁面中包含圖片的URL地址。
3.將頁面篩選的數據保存到本地
把篩選的圖片地址通過for循環(huán)遍歷并保存到本地，代碼如下：
#coding=utf-8import redef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0 ? ?for imgurl in imglist:
urllib.(imgurl,'%s.jpg' % x)
x+=1html = getHtml(" getImg(html)
這里的核心是用到了urllib.()方法，直接將遠程數據下載到本地。
通過一個for循環(huán)對獲取的圖片連接進行遍歷，為了使圖片的文件名看上去更規(guī)范，對其進行重命名，命名規(guī)則通過x變量加1。保存的位置默認為程序的存放目錄。
程序運行完成，將在目錄下看到下載到本地的文件。
Python爬蟲如何寫？
先檢查是否有APIAPI是網站官方提供的數據接口，如果通過調用API采集數據，則相當于在網站允許的范圍內采集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API接口的訪問則處于網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據采集的需求并不是很獨特，那么有API則應優(yōu)先采用調用API的方式。
數據結構分析和數據存儲
爬蟲需求要十分清晰，具體表現為需要哪些字段，這些字段可以是網頁上現有的，也可以是根據網頁上現有的字段進一步計算的，這些字段如何構建表，多張表如何連接等。值得一提的是，確定字段環(huán)節(jié)，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的字段，這既有可能是由于網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵字段——這并不是幾分鐘看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。
對于大規(guī)模爬蟲，除了本身要采集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。
數據庫并沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型數據庫MySQL等，也可以選擇非關系型數據庫MongoDB等；對于普通的結構化數據一般存在關系型數據庫即可。是一個成熟好用的數據庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。
數據流分析
對于要批量爬取的網頁，往上一層，看它的入口在哪里；這個是根據采集范圍來確定入口，比如若只想爬一個地區(qū)的數據，那從該地區(qū)的主頁切入即可；但若想爬*數據，則應更往上一層，從*的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節(jié)點一層層往里進入即可。
值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低于真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統(tǒng)設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小于等于300頁就表示該條件下沒有缺漏；*把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。
明確了大規(guī)模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然后把這個模式復制到整體。對于單個網頁，采用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲采集的數據是寫入源代碼里還是通過AJAX調用JSON數據。
同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規(guī)律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要么找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要么采用下文所述的模擬瀏覽器的方式。
數據采集
之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優(yōu)勢更明顯，受眾更廣，這得益于其成熟的爬蟲框架，以及其他的在計算機系統(tǒng)上更好的性能。scrapy是一個成熟的爬蟲框架，直接往里套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定制化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，并成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。
下載到了源碼之后，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX異步加載JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。
解析工具
源碼下載后，就是解析數據了，常用的有兩種方法，一種是用對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。
比較簡單，支持Xpath和兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者標記好了，直接復制即可。以為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。
正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字符串，所以正則表達式可以大顯身手，而且處理速度很快。
對于HTML結構固定，即同樣的字段處tag、id和class名稱都相同，采用解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區(qū)某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區(qū)的經度都是介于113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。
數據整理
一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由于大部分都是字符串，所以主要也就是字符串的處理方式了。
字符串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字符或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然后截取一部分。
如果字符串處理的需求太復雜以致常規(guī)的字符串處理方法不好解決，那就要請出正則表達式這個大殺器。
Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將采集的數據整合成一張表，呈現最終的存儲效果。
寫入數據庫
如果只是中小規(guī)模的爬蟲，可以把*的爬蟲結果匯合成一張表，*導出成一張表格以便后續(xù)使用；但對于表數量多、單張表容量大的大規(guī)模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在數據庫中，既方便存儲，也方便進一步整理。
寫入數據庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對于對表結構沒有嚴格要求的情況下可以采用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用數據庫引擎來執(zhí)行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。
python網絡爬蟲怎么學習
鏈接： 提取碼：2b6c
課程簡介
畢業(yè)不知如何就業(yè)？工作效率低經常挨罵？很多次想學編程都沒有學會？
Python 實戰(zhàn)：四周實現爬蟲系統(tǒng)，無需編程基礎，二十八天掌握一項謀生技能。
帶你學到如何從網上批量獲得幾十萬數據，如何處理海量大數據，數據可視化及網站制作。
課程目錄
開始之前，魔力手冊 for 實戰(zhàn)學員預習
*周：學會爬取網頁信息
第二周：學會爬取大規(guī)模數據
第三周：數據統(tǒng)計與分析
第四周：搭建 Django 數據可視化網站
......
如何學習python爬蟲
爬蟲是入門Python*的方式，沒有之一。 Python有很多應用的方向，比如后臺開發(fā)、web開發(fā)、科學計算等等，但爬蟲對于初學者而
言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲后，你再去學習Python數據分析、web開發(fā)甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的
使用，以及如何查找文檔你都非常熟悉了。
對于小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有的人則認為先要掌握網頁的知識，遂 開始 HTMLCSS，結果入了前端的坑 ，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從 一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。 那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。 這里給你一
條平滑的、零基礎快速入門的學習路徑。
python學習網，免費的python學習網站，歡迎在線學習！
學習 Python 包并實現基本的爬蟲過程
大部分爬蟲都是按 “發(fā)送請求——獲得頁面——解析頁面——抽取并儲存內容” 這樣的流程來進行，這其實也是模擬了我們使用瀏覽器
獲取網頁信息的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等， 建議從requests+Xpath 開始 ，requests 負責連接網
站，返回網頁，Xpath 用于解析網頁，便于抽取數據。
如果你用過 ，會發(fā)現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多， 一
般的靜態(tài)網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了 。
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態(tài)加載等等。
遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規(guī)的比如 訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等 。
往往網站在高效開發(fā)和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy
框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人
驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
學習數據庫基礎，應對大規(guī)模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種數據庫是必須的，學習目前
比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲一些非結構化的數據 ，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在
Python中操作MongoDB。
因為這里要用到的數據庫知識其實非常簡單，主要是 數據如何入庫、如何進行提取 ，在需要的時候再學習就行。
分布式爬蟲，實現大規(guī)模并發(fā)采集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字： 分布
式爬蟲 。
分布式這個東西，聽起來很恐怖， 但其實就是利用多線程的原理讓多個爬蟲同時工作 ，需要你掌握 Scrapy + MongoDB + Redis 這三種工具 。
Scrapy 前面我們說過了，用于做基本的頁面爬取，MongoDB 用于存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務
隊列。
所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那么你可以去嘗試打造一些基本的爬蟲架
構了，實現一些更加自動化的數據獲取。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統(tǒng)地去啃一些東西，找一個實際
的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好 。