1樓:育知同創教育
爬到有價值的資料,進行建模,挖掘就會產生商業價值
知乎python 爬蟲如何入門學習
2樓:緣lai如茨
入門」是良好的動機,但是可能作用緩慢。如果你手
裡或者腦子裡有一個專案,那麼實踐起來你會被目標驅動,而不會像學習模組一樣慢慢學習。
另外如果說知識體系裡的每一個知識點是圖裡的點,依賴關係是邊的話,那麼這個圖一定不是一個有向無環圖。因為學習a的經驗可以幫助你學習b。因此,你不需要學習怎麼樣「入門」,因為這樣的「入門」點根本不存在!
你需要學習的是怎麼樣做一個比較大的東西,在這個過程中,你會很快地學會需要學會的東西的。當然,你可以爭論說需要先懂python,不然怎麼學會python做爬蟲呢?但是事實上,你完全可以在做這個爬蟲的過程中學習python :
d看到前面很多答案都講的「術」——用什麼軟體怎麼爬,那我就講講「道」和「術」吧——爬蟲怎麼工作以及怎麼在python實現。
先長話短說summarize一下:
你需要學習
基本的爬蟲工作原理
基本的http抓取工具,scrapy
bloom filter: bloom filters by example
如果需要大規模網頁抓取,你需要學習分散式爬蟲的概念。其實沒那麼玄乎,你只要學會怎樣維護一個所有叢集機器能夠有效分享的分散式佇列就好。最簡單的實現是python-rq:
rq和scrapy的結合:darkrho/scrapy-redis · github
後續處理,網頁析取(grangier/python-goose · github),儲存(mongodb)
如何從零基礎開始寫一個關於搜尋知乎答案的python爬蟲
3樓:杜爺1號
首先來說爬蟲。
關於爬蟲一個不太嚴謹的理解就是,你可以給爬蟲程式設定一個初始的目標頁面,然後程式返回目標頁面的html文件後,從中提取頁面中的超連結,然後繼續爬到下一個頁面中去。從這些頁面的html文件中可以通過對標籤的處理解析出你想要的具體內容。
所以我們可以這麼來簡單定義一個爬蟲的工作過程:
抓取目標頁面
解析頁面文件獲得目的資訊
繼續爬取下一個頁面
儲存結果
為了實現這些工作,你需要學習一些常用庫的簡單用法,包括但不限於:
urllib、urllib2、urllib.request、cookilib (python的內建庫,用來處理http請求)
requests (第三方庫,推薦使用requests來處理請求,比urllib方便一些)
re、beautifulsoup (正規表示式匹配內容、bs4解析html文件)
其次呢,因為你要跟網頁的原始碼打交道,尤其是解析html文件,所以你最好對html和瀏覽器通訊有點簡單的瞭解,會使用firebug檢視原始碼定位資訊在原始碼中的位置。
落實到題主給出的示例
如何使用python爬取知乎資料並做簡單分析
4樓:龍氏風采
一、使用的技術棧:
爬蟲:python27 +requests+json+bs4+time
分析工具: elk套件
開發工具:pycharm
資料成果簡單的視覺化分析
1.性別分佈
python爬蟲登入知乎後怎樣爬取資料
5樓:米粒遇上小麥
看你爬什麼咯?如果是網頁,那就是頁面**;如果是制定內容,那爬取的時候就給定匹配的關鍵字,返回你指定的資料(字串,list,json都可以)
如何從零基礎開始寫一個關於搜尋知乎答案的python爬蟲
6樓:死亡
知乎怎麼註冊？求解，怎麼註冊知乎賬號？
註冊知乎的方法 bai 1.訪問知乎du 或在上搜尋zhi。2.在知乎dao 首頁的右上角，有 注 回冊答 按鈕。3.點 註冊 按鈕後，按照求要求填寫資訊，需要提供 手機號碼 需要接收驗證碼 註冊郵箱 密碼。4.填寫手機接收到的驗證碼。5.到註冊郵箱的 收件箱 查收知乎 的會員帳號啟用連結。6.啟用...
知乎怎麼建立話題，知乎如何建立話題？
知乎於 2014 年 4 月暫時鎖定了部分話題編輯操作，包括 建立話題 編輯話題名稱 別名 描述 編輯父 子話題。也就說，你得滿足一定條件才有權力建立新的話題。具體的解釋可以參考 在首頁的頂部，有框顯示 提問 知乎如何建立話題？知乎釋出提問裡選擇話題怎麼弄 40 知乎釋出提問選擇話題的步驟如下 開啟...
知乎，豆瓣，果殼都是python開發的，是不是python程式設計師都比較文藝
必須等待上一個頁面抓取完成後，拿到資料，才能進行下一個頁面的抓取，甚至多層的依賴關係，那就會出現可怕的多層callback！基本這時候，結構和邏輯就會一團亂麻。如何優雅地向python程式設計師表白 既然是python程式設計師 來，肯定信仰python彩蛋源中的話。簡潔大於複雜bai。所以du你要...