1樓：
你的思路是對的，確認好你需要的欄目，然後把所有url加入list中，把事先編寫的內容爬取方法，在遍歷list時呼叫，置於多執行緒的話，條數不多建議每一個爬取建立一個thread，如果很多，建議對list適當分組，每一組放入一個threadpool中，讓他慢慢爬。（每個任務完成了最好sleep個幾秒，別給這個**反爬蟲team太多麻煩，畢竟都是it同行）
另外，如果你爬取的欄目有分頁，可以把所有頁數或者首尾頁數爬出來，然後拼接欄目分頁url，在之上的url中再套一個分頁list_urls的遍歷。我的邏輯就是這樣。
scrapy框架python語言爬蟲得到的資料怎麼存入資料庫？
2樓：匿名使用者
scrapy依賴於twisted，所以如果抄scrapy能用，twisted肯定是已經安裝好了。
抓取到的資料，可以直接丟到mysql，也可以用django的orm模型丟到mysql，方便django呼叫。方法也很簡單，按資料庫的語句來寫就行了，在spiders目錄裡定義自己的爬蟲時也可以寫進去。
當然使用pipelines.py是更通用的方法，以後修改也更加方便。你的情況，應該是沒有在settings.
py裡定義pipelines，所以scrapy不會去執行，就不會生成pyc檔案了。
在scrapy框架下用python爬蟲的問題！
3樓：匿名使用者
這個是unicode的，編碼成gbk列印就是中文了 encode('gbk')
python使用scrapy框架編寫爬蟲，網頁中有loadmore按鈕，點選後在原頁面上新增了部分內容，只獲取新增部分
現在python爬蟲用scrapy框架多嗎？我安了好多次都安不上
4樓：篆追祖注姿淄供
一般吧，爬蟲的框架還是很多的，python的就有好幾個，其他語言的更多。各有各的特點，scrapy是基於事件驅動框架twisted的。
安裝python的包，一般使用包管理工具pip，你可以先安裝pip，之後直接
pip install scrapy就安裝好了，非常方便。 我的部落格：
使用scrapy 爬蟲框架，一般是邊爬邊去重還是爬完一定深度以後再去重
5樓：桐含蓮白羊
所以這就是自己為什麼在寫完後就決定再也不用 scrapy 的原因⊙﹏⊙b ……爬蟲框架用起來自定義程度總是不高～
用 requests+selenium+phantomjs 多執行緒爬蟲的時候用的是 mp.manager.dict() 來儲存已經訪問過的**，如果發現再次訪問就直接跳過
我能想到的就是 bloom filter ，按照上面所說用 redis 來去重應該也可以
python 爬蟲入門問題crawler?scrapy?模組urlib?requests?
6樓：匿名使用者
關於爬蟲入門的回答 很詳細了~~~~
7樓：匿名使用者
不是，只要是實現了http協議的庫都可以用，這樣的庫有很多款，核心功能都是差不多的。
scrapy是框架，框架是半成品，可以讓你用很小的**量做更多的事情。
8樓：徐曉龍老婆
因為urllib 是python自帶的庫，requests是第三方的，功能類似urllib。scrapy 是個爬蟲框架，如果你是入門爬化建議還是先學點python基礎。至於爬蟲requests可以，scrapy也可以。
主要還是懂原理，http 協議和ajax，反扒的機制等等
9樓：扈莞然
你可以看一下python的爬蟲框架scrapy，這裡面已經包含了寫爬蟲的大部分功能，自己只需要編寫兩三個模組，就可以完成一個爬蟲。如果解決了您的問題請採納！如果未解決請繼續追問！
10樓：匿名使用者
一般都是可以的。不過大多初學會用urlib。
11樓：新不起浪
urrlib是官方自帶的庫
要說誰好用，用熟悉了都一樣
何為框架結構？什麼是框架結構？
框架結構住宅是指以鋼筋混凝土澆搗成承重樑柱，再用預製的加氣混凝土 膨脹珍珠岩 浮石 蛭石 陶爛等輕質板材隔牆分戶裝配成而的住宅。適合大規模工業化施工，效率較高，工程質量較好。框架結構由樑柱構成，構件截面較小，因此框架結構的承載力和剛度都較低，它的受力特點類似於豎向懸臂剪下梁，樓層越高，水平位移越慢，...
為什麼學PHP需要框架？PHP框架是做什麼用的
1.對於php初學者從框架開始學習是個很好的方法。很多功能與其東拼西湊找開源庫不如直接用現成回 的框架來解決答，而且用框架還能保證可靠性和安全性，畢竟那是經過長時間應用檢驗的。而且，用框架的更重要的原因是保證設計的合理性和可擴充套件性。如果不用框架難免會有結構設計方面的bug，做出來的產品難以維護，...
程式設計框架是什麼意思，什麼是程式語言框架
程式設計框架指的是實現了某應用領域通用完備功能的底層服務。使用這種框架的程式設計人員可以在一個通用功能已經實現的基礎上開始具體的系統開發。框架提供了所有應用期望的預設行為的類集合。具體的應用通過重寫子類 該子類屬於框架的預設行為 或組裝物件來支援應用專用的行為。什麼是框架？框架，即framework...