python爬虫是怎样的一回事。 python为什么叫爬虫
Python\u722c\u866b\u662f\u4ec0\u4e48\uff1f\u4e3a\u81ea\u52a8\u63d0\u53d6\u7f51\u9875\u7684\u7a0b\u5e8f\uff0c\u5b83\u4e3a\u641c\u7d22\u5f15\u64ce\u4ece\u4e07\u7ef4\u7f51\u4e0a\u4e0b\u8f7d\u7f51\u9875\u3002
\u7f51\u7edc\u722c\u866b\u4e3a\u4e00\u4e2a\u81ea\u52a8\u63d0\u53d6\u7f51\u9875\u7684\u7a0b\u5e8f\uff0c\u5b83\u4e3a\u641c\u7d22\u5f15\u64ce\u4ece\u4e07\u7ef4\u7f51\u4e0a\u4e0b\u8f7d\u7f51\u9875\uff0c\u662f\u641c\u7d22\u5f15\u64ce\u7684\u91cd\u8981\u7ec4\u6210\u3002\u4f20\u7edf\u722c\u866b\u4ece\u4e00\u4e2a\u6216\u82e5\u5e72\u521d\u59cb\u7f51\u9875\u7684URL\u5f00\u59cb\uff0c\u83b7\u5f97\u521d\u59cb\u7f51\u9875\u4e0a\u7684URL\uff0c\u5728\u6293\u53d6\u7f51\u9875\u7684\u8fc7\u7a0b\u4e2d\uff0c\u4e0d\u65ad\u4ece\u5f53\u524d\u9875\u9762\u4e0a\u62bd\u53d6\u65b0\u7684URL\u653e\u5165\u961f\u5217,\u76f4\u5230\u6ee1\u8db3\u7cfb\u7edf\u7684\u4e00\u5b9a\u505c\u6b62\u6761\u4ef6\u3002
\u5c06\u6839\u636e\u4e00\u5b9a\u7684\u641c\u7d22\u7b56\u7565\u4ece\u961f\u5217\u4e2d\u9009\u62e9\u4e0b\u4e00\u6b65\u8981\u6293\u53d6\u7684\u7f51\u9875URL\uff0c\u5e76\u91cd\u590d\u4e0a\u8ff0\u8fc7\u7a0b\uff0c\u76f4\u5230\u8fbe\u5230\u7cfb\u7edf\u7684\u67d0\u4e00\u6761\u4ef6\u65f6\u505c\u6b62\u3002\u53e6\u5916\uff0c\u6240\u6709\u88ab\u722c\u866b\u6293\u53d6\u7684\u7f51\u9875\u5c06\u4f1a\u88ab\u7cfb\u7edf\u5b58\u8d2e\uff0c\u8fdb\u884c\u4e00\u5b9a\u7684\u5206\u6790\u3001\u8fc7\u6ee4\uff0c\u5e76\u5efa\u7acb\u7d22\u5f15\uff0c\u4ee5\u4fbf\u4e4b\u540e\u7684\u67e5\u8be2\u548c\u68c0\u7d22\u3002
\u6269\u5c55\u8d44\u6599\uff1a
\u7f51\u7edc\u722c\u866b\u7684\u76f8\u5173\u8981\u6c42\u89c4\u5b9a\uff1a
1\u3001\u7531Python\u6807\u51c6\u5e93\u63d0\u4f9b\u4e86\u7cfb\u7edf\u7ba1\u7406\u3001\u7f51\u7edc\u901a\u4fe1\u3001\u6587\u672c\u5904\u7406\u3001\u6570\u636e\u5e93\u63a5\u53e3\u3001\u56fe\u5f62\u7cfb\u7edf\u3001XML\u5904\u7406\u7b49\u989d\u5916\u7684\u529f\u80fd\u3002
2\u3001\u6309\u7167\u7f51\u9875\u5185\u5bb9\u76ee\u5f55\u5c42\u6b21\u6df1\u6d45\u6765\u722c\u884c\u9875\u9762\uff0c\u5904\u4e8e\u8f83\u6d45\u76ee\u5f55\u5c42\u6b21\u7684\u9875\u9762\u9996\u5148\u88ab\u722c\u884c\u3002 \u5f53\u540c\u4e00\u5c42\u6b21\u4e2d\u7684\u9875\u9762\u722c\u884c\u5b8c\u6bd5\u540e\uff0c\u722c\u866b\u518d\u6df1\u5165\u4e0b\u4e00\u5c42\u7ee7\u7eed\u722c\u884c\u3002
3\u3001\u6587\u672c\u5904\u7406\uff0c\u5305\u542b\u6587\u672c\u683c\u5f0f\u5316\u3001\u6b63\u5219\u8868\u8fbe\u5f0f\u5339\u914d\u3001\u6587\u672c\u5dee\u5f02\u8ba1\u7b97\u4e0e\u5408\u5e76\u3001Unicode\u652f\u6301\uff0c\u4e8c\u8fdb\u5236\u6570\u636e\u5904\u7406\u7b49\u529f\u80fd\u3002
\u53c2\u8003\u8d44\u6599\u6765\u6e90\uff1a\u767e\u5ea6\u767e\u79d1-\u7f51\u7edc\u722c\u866b
\u56e0\u4e3apython\u7684\u811a\u672c\u7279\u6027\uff0c\u6613\u4e8e\u914d\u7f6e\uff0c\u5bf9\u5b57\u7b26\u7684\u5904\u7406\u4e5f\u975e\u5e38\u7075\u6d3b\uff0c\u5c31\u50cf\u866b\u5b50\u4e00\u6837\u7075\u6d3b\uff0c\u6545\u540d\u722c\u866b\u3002
Python\u662f\u5b8c\u5168\u9762\u5411\u5bf9\u8c61\u7684\u8bed\u8a00\u3002\u51fd\u6570\u3001\u6a21\u5757\u3001\u6570\u5b57\u3001\u5b57\u7b26\u4e32\u90fd\u662f\u5bf9\u8c61\u3002\u5e76\u4e14\u5b8c\u5168\u652f\u6301\u7ee7\u627f\u3001\u91cd\u8f7d\u3001\u6d3e\u751f\u3001\u591a\u7ee7\u627f\uff0c\u6709\u76ca\u4e8e\u589e\u5f3a\u6e90\u4ee3\u7801\u7684\u590d\u7528\u6027\u3002
Python\u652f\u6301\u91cd\u8f7d\u8fd0\u7b97\u7b26\u548c\u52a8\u6001\u7c7b\u578b\u3002\u76f8\u5bf9\u4e8eLisp\u8fd9\u79cd\u4f20\u7edf\u7684\u51fd\u6570\u5f0f\u7f16\u7a0b\u8bed\u8a00\uff0cPython\u5bf9\u51fd\u6570\u5f0f\u8bbe\u8ba1\u53ea\u63d0\u4f9b\u4e86\u6709\u9650\u7684\u652f\u6301\u3002\u6709\u4e24\u4e2a\u6807\u51c6\u5e93(functools, itertools)\u63d0\u4f9b\u4e86Haskell\u548cStandard ML\u4e2d\u4e45\u7ecf\u8003\u9a8c\u7684\u51fd\u6570\u5f0f\u7a0b\u5e8f\u8bbe\u8ba1\u5de5\u5177\u3002
\u6269\u5c55\u8d44\u6599
Python\u7684\u8bbe\u8ba1\u76ee\u6807\u4e4b\u4e00\u662f\u8ba9\u4ee3\u7801\u5177\u5907\u9ad8\u5ea6\u7684\u53ef\u9605\u8bfb\u6027\u3002\u5b83\u8bbe\u8ba1\u65f6\u5c3d\u91cf\u4f7f\u7528\u5176\u5b83\u8bed\u8a00\u7ecf\u5e38\u4f7f\u7528\u7684\u6807\u70b9\u7b26\u53f7\u548c\u82f1\u6587\u5355\u5b57\uff0c\u8ba9\u4ee3\u7801\u770b\u8d77\u6765\u6574\u6d01\u7f8e\u89c2\u3002\u5b83\u4e0d\u50cf\u5176\u4ed6\u7684\u9759\u6001\u8bed\u8a00\u5982C\u3001Pascal\u90a3\u6837\u9700\u8981\u91cd\u590d\u4e66\u5199\u58f0\u660e\u8bed\u53e5\uff0c\u4e5f\u4e0d\u50cf\u5b83\u4eec\u7684\u8bed\u6cd5\u90a3\u6837\u7ecf\u5e38\u6709\u7279\u6b8a\u60c5\u51b5\u548c\u610f\u5916\u3002
Python\u5f00\u53d1\u8005\u6709\u610f\u8ba9\u8fdd\u53cd\u4e86\u7f29\u8fdb\u89c4\u5219\u7684\u7a0b\u5e8f\u4e0d\u80fd\u901a\u8fc7\u7f16\u8bd1\uff0c\u4ee5\u6b64\u6765\u5f3a\u5236\u7a0b\u5e8f\u5458\u517b\u6210\u826f\u597d\u7684\u7f16\u7a0b\u4e60\u60ef\u3002
\u5e76\u4e14Python\u8bed\u8a00\u5229\u7528\u7f29\u8fdb\u8868\u793a\u8bed\u53e5\u5757\u7684\u5f00\u59cb\u548c\u9000\u51fa\uff08Off-side\u89c4\u5219\uff09\uff0c\u800c\u975e\u4f7f\u7528\u82b1\u62ec\u53f7\u6216\u8005\u67d0\u79cd\u5173\u952e\u5b57\u3002\u589e\u52a0\u7f29\u8fdb\u8868\u793a\u8bed\u53e5\u5757\u7684\u5f00\u59cb\uff0c\u800c\u51cf\u5c11\u7f29\u8fdb\u5219\u8868\u793a\u8bed\u53e5\u5757\u7684\u9000\u51fa\u3002\u7f29\u8fdb\u6210\u4e3a\u4e86\u8bed\u6cd5\u7684\u4e00\u90e8\u5206\u3002
\u4f8b\u5982if\u8bed\u53e5\uff1apython3\u3002
1.抓取
py的urllib不一定去用，但是要学，如果还没用过的话。
比较好的替代品有requests等第三方更人性化、成熟的库，如果pyer不了解各种库，那就白学了。
抓取最基本就是拉网页回来。
如果深入做下去，会发现要面对不同的网页要求，比如有认证的，不同文件格式、编码处理，各种奇怪的url合规化处理、重复抓取问题、cookies跟随问题、多线程多进程抓取、多节点抓取、抓取调度、资源压缩等一系列问题。
所以第一步就是拉网页回来，慢慢会发现各种问题待优化。
2.存储
抓回来一般会用一定策略存下来，而不是直接分析，个人觉得更好的架构应该是把分析和抓取分离，更加松散，每个环节出了问题能够隔离另外一个环节可能出现的问题，好排查也好更新发布。
那么存文件系统、SQLorNOSQL数据库、内存数据库，如何去存就是这个环节的重点。
可以选择存文件系统开始，然后以一定规则命名。
3.分析
对网页进行文本分析，提取链接也好，提取正文也好，总之看的需求，但是一定要做的就是分析链接了。
可以用认为最快最优的办法，比如正则表达式。
然后将分析后的结果应用与其他环节：）
4.展示
要是做了一堆事情，一点展示输出都没有，如何展现价值。
所以找到好的展示组件，去show出肌肉也是关键。
如果为了做个站去写爬虫，抑或要分析某个东西的数据，都不要忘了这个环节，更好地把结果展示出来给别人感受。
机器
绛旓細鐖櫕鎶鏈槸涓绉嶈嚜鍔ㄥ寲绋嬪簭銆傜埇铏氨鏄竴绉嶅彲浠ヤ粠缃戦〉涓婃姄鍙栨暟鎹俊鎭苟淇濆瓨鐨勮嚜鍔ㄥ寲绋嬪簭锛屽畠鐨勫師鐞嗗氨鏄ā鎷熸祻瑙堝櫒鍙戦佺綉缁滆姹傦紝鎺ュ彈璇锋眰鍝嶅簲锛岀劧鍚庢寜鐓т竴瀹氱殑瑙勫垯鑷姩鎶撳彇浜掕仈缃戞暟鎹傛悳绱㈠紩鎿庨氳繃杩欎簺鐖櫕浠庝竴涓綉绔欑埇鍒板彟涓涓綉绔欙紝璺熻釜缃戦〉涓殑閾炬帴锛岃闂洿澶氱殑缃戦〉锛岃繖涓繃绋嬬О涓虹埇琛岋紝杩欎簺鏂扮殑缃戝潃浼氳瀛...
绛旓細鎵浠ョ涓姝ュ氨鏄媺缃戦〉鍥炴潵锛屾參鎱細鍙戠幇鍚勭闂寰呬紭鍖栥2.瀛樺偍 鎶撳洖鏉ヤ竴鑸細鐢ㄤ竴瀹氱瓥鐣ュ瓨涓嬫潵锛岃屼笉鏄洿鎺ュ垎鏋愶紝涓汉瑙夊緱鏇村ソ鐨勬灦鏋勫簲璇ユ槸鎶婂垎鏋愬拰鎶撳彇鍒嗙锛屾洿鍔犳澗鏁ｏ紝姣忎釜鐜妭鍑轰簡闂鑳藉闅旂鍙﹀涓涓幆鑺傚彲鑳藉嚭鐜扮殑闂锛屽ソ鎺掓煡涔熷ソ鏇存柊鍙戝竷銆傞偅涔堝瓨鏂囦欢绯荤粺銆丼QLorNOSQL鏁版嵁搴撱佸唴瀛樻暟鎹簱锛濡備綍鍘诲瓨...
绛旓細Python鐖櫕鍗充娇鐢≒ython绋嬪簭寮鍙戠殑缃戠粶鐖櫕锛堢綉椤佃湗铔涳紝缃戠粶鏈哄櫒浜猴級锛鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈銆傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰呰爼铏傚叾瀹為氫織鐨勮灏辨槸閫氳繃绋嬪簭鍘昏幏鍙 web 椤甸潰涓婅嚜宸辨兂瑕佺殑鏁版嵁锛屼篃灏辨槸鑷姩鎶撳彇鏁版嵁銆傜綉缁滅埇铏紙鑻辫锛歸eb crawler...
绛旓細python鐖櫕鍗崇綉缁滅埇铏锛岀綉缁滅埇铏槸涓绉嶇▼搴忥紝涓昏鐢ㄤ簬鎼滅储寮曟搸锛屽畠灏嗕竴涓綉绔欑殑鎵鏈夊唴瀹逛笌閾炬帴杩涜闃呰锛屽苟寤虹珛鐩稿叧鐨勫叏鏂囩储寮曞埌鏁版嵁搴撲腑锛岀劧鍚庤烦鍒板彟涓涓綉绔欍傛悳绱㈠紩鎿庯紙SearchEngine锛夋槸鎸囨牴鎹竴瀹氱殑绛栫暐銆佽繍鐢ㄧ壒瀹氱殑璁＄畻鏈虹▼搴忎粠浜掕仈缃戜笂鎼滈泦淇℃伅锛屽湪瀵逛俊鎭繘琛岀粍缁囧拰澶勭悊鍚庯紝涓虹敤鎴锋彁渚涙绱㈡湇鍔★紝灏嗙敤鎴锋...
绛旓細Python鐖櫕鍗充娇鐢 Python 绋嬪簭寮鍙戠殑缃戠粶鐖櫕锛堢綉椤佃湗铔涳紝缃戠粶鏈哄櫒浜猴級锛鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈銆備富瑕佺敤浜庢悳绱㈠紩鎿庯紝瀹冨皢涓涓綉绔欑殑鎵鏈夊唴瀹逛笌閾炬帴杩涜闃呰锛屽苟寤虹珛鐩稿叧鐨勫叏鏂囩储寮曞埌鏁版嵁搴撲腑锛岀劧鍚庤烦鍒板彟涓涓綉绔欍傛嫇灞曪細鐖櫕鍒嗙被 浠庣埇鍙栧璞℃潵鐪嬶紝鐖櫕鍙互鍒嗕负閫氱敤鐖櫕...
绛旓細Python鐖櫕灏辨槸浣跨敤Python绋嬪簭寮鍙戠殑缃戠粶鐖櫕锛鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈紝涓昏鐢ㄤ簬鎼滅储寮曟搸锛屽畠灏嗕竴涓綉绔欑殑鎵鏈夊唴瀹逛笌閾炬帴杩涜闃呰锛屽苟寤虹珛鐩稿叧鐨勫叏鏂囩储寮曞埌鏁版嵁搴撲腑锛岀劧鍚庤烦鍒板彟涓涓綉绔欍Python鐖櫕鐨浣滅敤锛1銆佹敹闆嗘暟鎹紝python鐖櫕绋嬪簭鍙敤浜庢敹闆嗘暟鎹紝杩欎篃鏄渶甯哥敤鐨勬柟娉...
绛旓細鐖櫕涓鑸寚缃戠粶璧勬簮鐨勬姄鍙栵紝閫氳繃缂栫▼璇█鎾板啓鐖櫕宸ュ叿锛屾姄鍙栬嚜宸辨兂瑕佺殑鏁版嵁浠ュ強鍐呭銆傝屽湪浼楀缂栫▼璇█涔嬩腑锛Python鏈変赴瀵岀殑缃戠粶鎶撳彇妯″潡锛屽洜姝ゆ垚涓烘挵鍐鐖櫕鐨棣栭夎瑷锛屽苟寮曡捣浜嗗涔犵儹娼侾ython浣滀负涓闂ㄧ紪绋嬭瑷鑰岀函绮圭殑鑷敱杞欢锛屼互绠娲佹竻鏅扮殑璇硶鍜屽己鍒朵娇鐢ㄧ┖鐧界鍙疯繘琛岃鍙ョ缉杩涚殑鐗圭偣鍙楀埌绋嬪簭鍛樼殑鍠滅埍銆傜敤涓嶅悓...
绛旓細Python鐖櫕寮鍙戝伐绋嬪笀锛屼粠缃戠珯鏌愪竴涓〉闈(閫氬父鏄椤)寮濮嬶紝璇诲彇缃戦〉鐨勫唴瀹癸紝鎵惧埌鍦ㄧ綉椤典腑鐨勫叾瀹冮摼鎺ュ湴鍧锛岀劧鍚庨氳繃杩欎簺閾炬帴鍦板潃瀵绘壘涓嬩竴涓綉椤碉紝杩欐牱涓鐩村惊鐜笅鍘伙紝鐩村埌鎶婅繖涓綉绔欐墍鏈夌殑缃戦〉閮芥姄鍙栧畬涓烘銆傚鏋滄妸鏁翠釜浜掕仈缃戝綋鎴愪竴涓綉绔欙紝閭ｄ箞缃戠粶铚樿洓灏卞彲浠ョ敤杩欎釜鍘熺悊鎶婁簰鑱旂綉涓婃墍鏈夌殑缃戦〉閮芥姄鍙栦笅鏉ャ傜埇铏...
绛旓細Python鐖櫕鏄竴绉嶈嚜鍔ㄥ寲鐖彇缃戠珯鏁版嵁鐨勭紪绋嬫妧鏈傚畠閫氳繃妯℃嫙娴忚鍣ㄧ殑琛屼负锛岃嚜鍔ㄨ闂綉绔欏苟鎶撳彇鎵闇瑕佺殑鏁版嵁锛屼粠鑰屽疄鐜板ぇ瑙勬ā鏁版嵁鐨勯噰闆嗗拰澶勭悊銆侾ython鐖櫕鐨勬剰涔夊湪浜庯紝璁╂垜浠兘澶熶粠缃戠粶涓幏鍙栧ぇ閲忔湁浠峰肩殑鏁版嵁锛岃繘琛屽垎鏋愬拰鍒╃敤锛屼緥濡傚晢涓氱珵浜夊垎鏋愩佽垎鎯呯洃娴嬨佺敤鎴疯涓哄垎鏋愮瓑銆侾ython鐖櫕鐨勫熀鏈師鐞嗗拰杩囩▼ Python...
绛旓細Python鐖櫕灏辨槸浣跨敤 Python 绋嬪簭寮鍙戠殑缃戠粶鐖櫕锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈備富瑕佺敤浜庢悳绱㈠紩鎿庯紝瀹冨皢涓涓綉绔欑殑鎵鏈夊唴瀹逛笌閾炬帴杩涜闃呰锛屽苟寤虹珛鐩稿叧鐨勫叏鏂囩储寮曞埌鏁版嵁搴撲腑锛岀劧鍚庤烦鍒板彟涓涓綉绔欍傛嫇灞曪細python鏄粈涔 Python鏄竴绉嶈法骞冲彴鐨勮绠楁満绋嬪簭璁捐璇█锛屾槸ABC璇█鐨勬浛浠...
