##########################################################
小編提示:2.0新版已經(jīng)發(fā)布?http://www.fx21ms.cn/article/34167
##########################################################
【引言】
最近有點(diǎn)時(shí)間,而且小丸子又逼的緊,所以想著還是寫點(diǎn)什么東西吧,比較巧,手上的一個(gè)項(xiàng)目快要開發(fā)完了(大家可以看之前的一篇:“在默哀魏則西的同時(shí),我們外貿(mào)人員在搜索引擎上還有選擇嗎?”),我們團(tuán)隊(duì)針對文章中提到的想法已經(jīng)進(jìn)行了實(shí)現(xiàn),近期就會上線,另外我們還圍繞這個(gè)命題進(jìn)行了一系列的擴(kuò)展工具開發(fā),其中最重要的就要“郵箱自動抓取功能”,當(dāng)然那個(gè)功能屬于商用功能,需要購置一批額外的硬件設(shè)備才能工作。
商用管商用,但本ID實(shí)際上今天想在這里給大家上幾節(jié)課,教學(xué)目標(biāo)基本圍繞著“怎樣自己開發(fā)一個(gè)郵箱抓取工具”,盡量做到簡單易懂,讓大家都能愉快的上手,最主要是不花錢,但考慮到大家畢竟不都是科班出身,而且女生占了我們微信粉絲的大半江山(說到這里了,我們是不是考慮要開發(fā)個(gè)外貿(mào)婚介功能啊,哈哈),所以在方法精細(xì)度上刪減了很多,以后等大家水平都上去了,我們再慢慢補(bǔ)回來。另外本課程需要各位有一定的動手能力,最起碼會照著打字吧,再不行去找個(gè)程序GGMM回來。
還有,這里有些建議對于第一次上課的同學(xué),想要最快,最好的完成本節(jié)課程,你可以這么做:
1. 很快速的通讀一遍這篇文章,如果你確定文章最后展現(xiàn)的那個(gè)結(jié)果你是想要的,那么做第二步
2. 很慢的細(xì)讀一遍,讀完后腦子里已經(jīng)對需要做的事情有個(gè)明確了解了,也能明白操作順序是怎么銜接的,然后進(jìn)入第三步
3. 打開電腦,照著手機(jī)的步驟一步步細(xì)心的執(zhí)行,同時(shí)心里默念“52wmb,52wmb,52wmb”
【環(huán)境搭建】
開發(fā)工具選擇,我們這里有學(xué)程序半路出家的吧,或者大家也多多少少聽到過一些程序語言的名字吧,例如C,JAVA(安卓的開發(fā)語言),PHP(外貿(mào)建站的基本都用這個(gè))等等等等,這些是很好很強(qiáng)大,但我們今天不用,理由是太復(fù)雜了,如果本ID今天用上面這些東西來上課,那我們這個(gè)微信號就可以改名字了,叫“程序這點(diǎn)事”好了,殺雞豈能用牛刀,今天要用的是瑞士軍刀-PYTHON,其實(shí)本來還有一個(gè)更好的選擇RUBY,但那個(gè)東西是小日本搞出來的,本ID只接受日本的兩樣?xùn)|西,所以還是算了。下載地址在這里:
下載下來的是這個(gè)文件“python-2.7.12.msi”,下不下來的也沒關(guān)系,文章最后有網(wǎng)盤,雙擊運(yùn)行,特別注意的是在組件選擇的那頁需要把一個(gè)關(guān)閉的選項(xiàng)打開來,別的界面一路next,有黑色彈出窗口也不要關(guān)閉,裝完自動會關(guān)閉,碰到系統(tǒng)彈出問題你“是”或“否”,都選“是”,參照下圖安裝示意操作:
圖一: 點(diǎn)next
圖二: 點(diǎn)next
圖三:右側(cè)下拉條往下拉,拉到能看到中間紅色橢圓的內(nèi)容顯示出來
圖四:鼠標(biāo)點(diǎn)擊紅色橢圓處,出現(xiàn)下拉菜單
圖五:鼠標(biāo)移到下拉菜單的第二條 Entire feautre will .......... 這行,點(diǎn)擊確定
圖六:檢查中間那個(gè)紅橢圓是不是已經(jīng)和上圖一致了,點(diǎn)next
圖七:點(diǎn)了圖六的next后,系統(tǒng)會彈出問你“確定”或“取消”,因?yàn)槭窍到y(tǒng)界面,截不了圖,記住點(diǎn)“確定”就是了,然后就會出現(xiàn)圖七的進(jìn)度條
圖八:結(jié)束畫面
裝完后(就是最后點(diǎn)了Finish),程序自己關(guān)閉,然后我們需要運(yùn)行“命令提示符”,可以直接在開始菜單的“運(yùn)行”中輸入CMD,或者在所有應(yīng)用里找到下面的這個(gè),再找不到問問同事,總會有人知道的,下面第一個(gè)截圖是windows10的入口,第二個(gè)是windows7的入口:
啟動“命令提示符”后,按照下面命令分別輸入
pip install requests ?(回車,然后等下面第一個(gè)圖一樣的結(jié)果出來)
pip install beautifulsoup4 ?(回車,參照下面第二個(gè)圖)
另外如果提示你“pip 不是有效的命令”這種文字,重啟下電腦再執(zhí)行命令就好了,這是windows的bug,但不是每一個(gè)人都會碰到的:
動手能力強(qiáng)的同學(xué)看到黃色字了么,這個(gè)是告訴我們要升級版本(不升級也沒關(guān)系),照著打python -m pip install --upgrade pip 就可以了,女同學(xué)可以無視。
恭喜你,到這里本課程的2/3已經(jīng)上完了,其實(shí)上面這些東西倒翻個(gè)5年,裝什么軟件基本都是這樣的,只不過現(xiàn)在大家都懶了,也被那些個(gè)大軟件綁架習(xí)慣了,像什么360,QQ之類的,裝一個(gè)基本就給你自動裝一批了,有好也有不好的地方。至此,PYTHON已經(jīng)正確的安裝和配置完成了,可以把顯示屏上所有新開出來的窗口都關(guān)閉了,就像什么也沒發(fā)生過一樣。同學(xué)們也不用看上面這么多截圖感到怕怕,其實(shí)實(shí)際操作起來,也就是3分鐘的事情,碰到問題大不了從頭來一遍好了,沒什么可怕的,重要的是敢于實(shí)際操作,我們外貿(mào)都搞了,還怕個(gè)毛線程序啊,對吧。
【運(yùn)行第一個(gè)腳本】
本節(jié)課的剩下部分就是教你運(yùn)行第一個(gè)腳本了,其實(shí)這是個(gè)獎勵(lì)關(guān)卡,因?yàn)槲覀儸F(xiàn)在什么都不懂,所以本ID就省掉了教大家一條條命令輸入了,只要運(yùn)行本ID給你們的這個(gè)文件就可以馬上看到結(jié)果---2秒50個(gè)郵箱,也算是獎勵(lì)各位同學(xué)順利完成搭建運(yùn)行環(huán)境這部分。去文章最后的網(wǎng)盤中下載class_1.py這個(gè)文件到計(jì)算機(jī)本地,放哪里無所謂,但記住位置,比如我們現(xiàn)在就把這個(gè)文件存到了“桌面“上,然后我們鼠標(biāo)右鍵點(diǎn)擊這個(gè)文件,在彈出的菜單中選擇“Edit with IDLE”
然后我們就會看到以下這個(gè)界面了,里面充實(shí)著很多現(xiàn)在看不懂的語言,不要急,我們現(xiàn)在不需要全看懂,只要知道這就是今天最后我們要運(yùn)行的這個(gè)腳本就可以了,通過運(yùn)行它,我們可能就會感嘆“我TMD的之前累死累活的找郵箱到底是為了什么?”
注意,我們最后還需要修改一點(diǎn)東西才能符合你想要的,很簡單的,看到key =u'Ferreyros Saa'這行字了嗎,這是本ID隨便輸入的一家公司名字,你可以換成任何你想搜索的公司名字或者產(chǎn)品關(guān)鍵字,比如我想搜LED,那么這行文字可以變成?key = u'led',想要更多的公司名字或者產(chǎn)品關(guān)鍵字,來
最后一步,按下鍵盤的F5快捷鍵,如果有任何彈出界面問你確定或者取消,老規(guī)矩,都點(diǎn)確定!看到了嗎?本ID沒有騙你們吧,是不是出現(xiàn)了一個(gè)新的窗口,里面打印出了很多郵箱啊,看下面結(jié)果圖(也是今天最后一張圖了)
感謝你能耐心看到這里,如果你能在電腦上運(yùn)行出和本ID一樣的界面,我會真的感到很欣慰,因?yàn)槌绦蚪绲拿魈炜赡苡侄嗔艘粋€(gè)天才或者軟妹子,當(dāng)然對于你自己來說,如果今天這些東西可以把你的工作效率提高一倍以上,本ID會非常非常非常的為你開心的。還有,所有完成本課程的同學(xué)都在評論里簽到一下吧,這樣會鼓勵(lì)更多的同學(xué)去實(shí)踐,去嘗試。
【課后作業(yè)】
1. 實(shí)際抓取的郵箱數(shù)并沒有到50個(gè)(根據(jù)關(guān)鍵字不同,數(shù)量會不同),如果我想抓1000個(gè)怎么辦?
2. 為什么抓取的都是hotmail的郵箱,我如果想同時(shí)抓gmail和yahoo怎么辦?(注意,是同時(shí)抓取,如果你想一類一類分開來抓取,只需要修改腳本里的email字段就可以了)
3. 為什么是bing,而不是google,能改嗎?
4. 我想直接導(dǎo)出EXCEL,可以嗎?
這些作業(yè)也是我們以后會上課的內(nèi)容,大家可以先想想,如果能自己動手解決里面的2個(gè)問題以上的同學(xué),而又想以后轉(zhuǎn)行做程序的,請務(wù)必給本ID留言。
課件下載:http://www.fx21ms.cn/file_download/2826
第二課:從50個(gè)郵箱到1000個(gè):http://www.fx21ms.cn/article/1994
第三課:從google抓取郵箱:http://www.fx21ms.cn/article/1995
2019.6.6 更新:所有同學(xué)請去網(wǎng)盤下載新的腳本,運(yùn)行的時(shí)候需要先在cmd里多安裝一個(gè)庫 "pip install fake_useragent" (引號不要輸入)
2019.7.28 更新:由于bing對搜索限制的加強(qiáng),太頻繁的單IP搜索都會時(shí)不時(shí)的沒有結(jié)果,對于這個(gè)課題已經(jīng)嚴(yán)重超過了這個(gè)課程的范圍,這里不再對此類問題做解答,這里給一個(gè)思路,所有的根源都是出在單IP上,要么換一個(gè),要么模擬用戶行為進(jìn)行老老實(shí)實(shí)的搜索,對于只是想學(xué)習(xí)本課程基本思想的同學(xué),為了能正常運(yùn)行程序,本ID這里也給出一個(gè)笨辦法,重新去網(wǎng)盤里下載第一課的文件,運(yùn)行后會出現(xiàn)一個(gè)搜索網(wǎng)址,見下圖:
如果沒有搜索結(jié)果的時(shí)候,把紅框內(nèi)的地址貼到瀏覽器先運(yùn)行一下,然后再運(yùn)行程序就會有結(jié)果出現(xiàn)了,原理也就是上面說的,瀏覽器里執(zhí)行一下,告訴bing這個(gè)ip過來的搜索是安全的,不要干我 ...