网络爬虫是什么？ 请问什么是网络爬虫啊？是干什么的呢？
\u4ec0\u4e48\u662f\u7f51\u7edc\u722c\u866b1\u3001\u7f51\u7edc\u722c\u866b\u5c31\u662f\u4e3a\u5176\u63d0\u4f9b\u4fe1\u606f\u6765\u6e90\u7684\u7a0b\u5e8f\uff0c\u7f51\u7edc\u722c\u866b\uff08\u53c8\u88ab\u79f0\u4e3a\u7f51\u9875\u8718\u86db\uff0c\u7f51\u7edc\u673a\u5668\u4eba\uff0c\u5728FOAF\u793e\u533a\u4e2d\u95f4\uff0c\u66f4\u7ecf\u5e38\u88ab\u79f0\u4e3a\u7f51\u9875\u8ffd\u9010\u8005\uff09\uff0c\u662f\u4e00\u79cd\u6309\u7167\u4e00\u5b9a\u7684\u89c4\u5219\uff0c\u81ea\u52a8\u7684\u6293\u53d6\u4e07\u7ef4\u7f51\u4fe1\u606f\u7684\u7a0b\u5e8f\u6216\u8005\u811a\u672c\uff0c\u5df2\u88ab\u5e7f\u6cdb\u5e94\u7528\u4e8e\u4e92\u8054\u7f51\u9886\u57df\u3002
2\u3001\u641c\u7d22\u5f15\u64ce\u4f7f\u7528\u7f51\u7edc\u722c\u866b\u6293\u53d6Web\u7f51\u9875\u3001\u6587\u6863\u751a\u81f3\u56fe\u7247\u3001\u97f3\u9891\u3001\u89c6\u9891\u7b49\u8d44\u6e90\uff0c\u901a\u8fc7\u76f8\u5e94\u7684\u7d22\u5f15\u6280\u672f\u7ec4\u7ec7\u8fd9\u4e9b\u4fe1\u606f\uff0c\u63d0\u4f9b\u7ed9\u641c\u7d22\u7528\u6237\u8fdb\u884c\u67e5\u8be2\u3002\u7f51\u7edc\u722c\u866b\u4e5f\u4e3a\u4e2d\u5c0f\u7ad9\u70b9\u7684\u63a8\u5e7f\u63d0\u4f9b\u4e86\u6709\u6548\u7684\u9014\u5f84\u3002
\u62d3\u5c55\u8d44\u6599\uff1a\u7f51\u7edc\u722c\u866b\u53e6\u5916\u4e00\u4e9b\u4e0d\u5e38\u4f7f\u7528\u7684\u540d\u5b57\u8fd8\u6709\u8682\u8681\uff0c\u81ea\u52a8\u7d22\u5f15\uff0c\u6a21\u62df\u7a0b\u5e8f\u6216\u8005\u8815\u866b\u3002\u968f\u7740\u7f51\u7edc\u7684\u8fc5\u901f\u53d1\u5c55\uff0c\u4e07\u7ef4\u7f51\u6210\u4e3a\u5927\u91cf\u4fe1\u606f\u7684\u8f7d\u4f53\uff0c\u5982\u4f55\u6709\u6548\u5730\u63d0\u53d6\u5e76\u5229\u7528\u8fd9\u4e9b\u4fe1\u606f\u6210\u4e3a\u4e00\u4e2a\u5de8\u5927\u7684\u6311\u6218\u3002
\u641c\u7d22\u5f15\u64ce\uff08Search Engine\uff09\uff0c\u4f8b\u5982\u4f20\u7edf\u7684\u901a\u7528\u641c\u7d22\u5f15\u64ceAltaVista\uff0cYahoo\uff01\u548cGoogle\u7b49\uff0c\u4f5c\u4e3a\u4e00\u4e2a\u8f85\u52a9\u4eba\u4eec\u68c0\u7d22\u4fe1\u606f\u7684\u5de5\u5177\u6210\u4e3a\u7528\u6237\u8bbf\u95ee\u4e07\u7ef4\u7f51\u7684\u5165\u53e3\u548c\u6307\u5357\u3002\u4f46\u662f\uff0c\u8fd9\u4e9b\u901a\u7528\u6027\u641c\u7d22\u5f15\u64ce\u4e5f\u5b58\u5728\u7740\u4e00\u5b9a\u7684\u5c40\u9650\u6027\uff0c\u5982\uff1a
\uff081\uff09 \u4e0d\u540c\u9886\u57df\u3001\u4e0d\u540c\u80cc\u666f\u7684\u7528\u6237\u5f80\u5f80\u5177\u6709\u4e0d\u540c\u7684\u68c0\u7d22\u76ee\u7684\u548c\u9700\u6c42\uff0c\u901a\u7528\u641c\u7d22\u5f15\u64ce\u6240\u8fd4\u56de\u7684\u7ed3\u679c\u5305\u542b\u5927\u91cf\u7528\u6237\u4e0d\u5173\u5fc3\u7684\u7f51\u9875\u3002
\uff082\uff09\u901a\u7528\u641c\u7d22\u5f15\u64ce\u7684\u76ee\u6807\u662f\u5c3d\u53ef\u80fd\u5927\u7684\u7f51\u7edc\u8986\u76d6\u7387\uff0c\u6709\u9650\u7684\u641c\u7d22\u5f15\u64ce\u670d\u52a1\u5668\u8d44\u6e90\u4e0e\u65e0\u9650\u7684\u7f51\u7edc\u6570\u636e\u8d44\u6e90\u4e4b\u95f4\u7684\u77db\u76fe\u5c06\u8fdb\u4e00\u6b65\u52a0\u6df1\u3002
\uff083\uff09\u4e07\u7ef4\u7f51\u6570\u636e\u5f62\u5f0f\u7684\u4e30\u5bcc\u548c\u7f51\u7edc\u6280\u672f\u7684\u4e0d\u65ad\u53d1\u5c55\uff0c\u56fe\u7247\u3001\u6570\u636e\u5e93\u3001\u97f3\u9891\u3001\u89c6\u9891\u591a\u5a92\u4f53\u7b49\u4e0d\u540c\u6570\u636e\u5927\u91cf\u51fa\u73b0\uff0c\u901a\u7528\u641c\u7d22\u5f15\u64ce\u5f80\u5f80\u5bf9\u8fd9\u4e9b\u4fe1\u606f\u542b\u91cf\u5bc6\u96c6\u4e14\u5177\u6709\u4e00\u5b9a\u7ed3\u6784\u7684\u6570\u636e\u65e0\u80fd\u4e3a\u529b\uff0c\u4e0d\u80fd\u5f88\u597d\u5730\u53d1\u73b0\u548c\u83b7\u53d6\u3002
\uff084\uff09\u901a\u7528\u641c\u7d22\u5f15\u64ce\u5927\u591a\u63d0\u4f9b\u57fa\u4e8e\u5173\u952e\u5b57\u7684\u68c0\u7d22\uff0c\u96be\u4ee5\u652f\u6301\u6839\u636e\u8bed\u4e49\u4fe1\u606f\u63d0\u51fa\u7684\u67e5\u8be2\u3002
\u722c\u866b\u5c31\u662f\u80fd\u591f\u81ea\u52a8\u8bbf\u95ee\u4e92\u8054\u7f51\u5e76\u5c06\u7f51\u7ad9\u5185\u5bb9\u4e0b\u8f7d\u4e0b\u6765\u7684\u7684\u7a0b\u5e8f\u6216\u811a\u672c\uff0c\u7c7b\u4f3c\u4e00\u4e2a\u673a\u5668\u4eba\uff0c\u80fd\u628a\u522b\u4eba\u7f51\u7ad9\u7684\u4fe1\u606f\u5f04\u5230\u81ea\u5df1\u7684\u7535\u8111\u4e0a\uff0c\u518d\u505a\u4e00\u4e9b\u8fc7\u6ee4\uff0c\u7b5b\u9009\uff0c\u5f52\u7eb3\uff0c\u6574\u7406\uff0c\u6392\u5e8f\u7b49\u7b49\u3002
\u7f51\u7edc\u722c\u866b\u80fd\u505a\u4ec0\u4e48\uff1a\u6570\u636e\u91c7\u96c6\u3002
\u7f51\u7edc\u722c\u866b\u662f\u4e00\u4e2a\u81ea\u52a8\u63d0\u53d6\u7f51\u9875\u7684\u7a0b\u5e8f\uff0c\u5b83\u4e3a\u641c\u7d22\u5f15\u64ce\u4ece\u4e07\u7ef4\u7f51\u4e0a\u4e0b\u8f7d\u7f51\u9875\uff0c\u662f\u641c\u7d22\u5f15\u64ce\u7684\u91cd\u8981\u7ec4\u6210\u3002\u4f20\u7edf\u722c\u866b\u4ece\u4e00\u4e2a\u6216\u82e5\u5e72\u521d\u59cb\u7f51\u9875\u7684URL\u5f00\u59cb\uff0c\u83b7\u5f97\u521d\u59cb\u7f51\u9875\u4e0a\u7684URL\uff0c\u5728\u6293\u53d6\u7f51\u9875\u7684\u8fc7\u7a0b\u4e2d\uff0c\u4e0d\u65ad\u4ece\u5f53\u524d\u9875\u9762\u4e0a\u62bd\u53d6\u65b0\u7684URL\u653e\u5165\u961f\u5217,\u76f4\u5230\u6ee1\u8db3\u7cfb\u7edf\u7684\u4e00\u5b9a\u505c\u6b62\u6761\u4ef6\u3002
\u6269\u5c55\u8d44\u6599\uff1a
\u7f51\u7edc\u722c\u866b\u6309\u7167\u7cfb\u7edf\u7ed3\u6784\u548c\u5b9e\u73b0\u6280\u672f\uff0c\u5927\u81f4\u53ef\u4ee5\u5206\u4e3a\u4ee5\u4e0b\u51e0\u79cd\u7c7b\u578b\uff1a\u901a\u7528\u7f51\u7edc\u722c\u866b\uff08General Purpose Web Crawler\uff09\u3001\u805a\u7126\u7f51\u7edc\u722c\u866b\uff08Focused Web Crawler\uff09\u3001\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\uff08Incremental Web Crawler\uff09\u3001\u6df1\u5c42\u7f51\u7edc\u722c\u866b\uff08Deep Web Crawler\uff09\u3002 \u5b9e\u9645\u7684\u7f51\u7edc\u722c\u866b\u7cfb\u7edf\u901a\u5e38\u662f\u51e0\u79cd\u722c\u866b\u6280\u672f\u76f8\u7ed3\u5408\u5b9e\u73b0\u7684 \u3002
\u901a\u7528\u7f51\u7edc\u722c\u866b
\u901a\u7528\u7f51\u7edc\u722c\u866b\u53c8\u79f0\u5168\u7f51\u722c\u866b\uff08Scalable Web Crawler\uff09\uff0c\u722c\u884c\u5bf9\u8c61\u4ece\u4e00\u4e9b\u79cd\u5b50 URL \u6269\u5145\u5230\u6574\u4e2a Web\uff0c\u4e3b\u8981\u4e3a\u95e8\u6237\u7ad9\u70b9\u641c\u7d22\u5f15\u64ce\u548c\u5927\u578b Web \u670d\u52a1\u63d0\u4f9b\u5546\u91c7\u96c6\u6570\u636e\u3002 \u7531\u4e8e\u5546\u4e1a\u539f\u56e0\uff0c\u5b83\u4eec\u7684\u6280\u672f\u7ec6\u8282\u5f88\u5c11\u516c\u5e03\u51fa\u6765\u3002 \u8fd9\u7c7b\u7f51\u7edc\u722c\u866b\u7684\u722c\u884c\u8303\u56f4\u548c\u6570\u91cf\u5de8\u5927\uff0c\u5bf9\u4e8e\u722c\u884c\u901f\u5ea6\u548c\u5b58\u50a8\u7a7a\u95f4\u8981\u6c42\u8f83\u9ad8\uff0c\u5bf9\u4e8e\u722c\u884c\u9875\u9762\u7684\u987a\u5e8f\u8981\u6c42\u76f8\u5bf9\u8f83\u4f4e\uff0c\u540c\u65f6\u7531\u4e8e\u5f85\u5237\u65b0\u7684\u9875\u9762\u592a\u591a\uff0c\u901a\u5e38\u91c7\u7528\u5e76\u884c\u5de5\u4f5c\u65b9\u5f0f\uff0c\u4f46\u9700\u8981\u8f83\u957f\u65f6\u95f4\u624d\u80fd\u5237\u65b0\u4e00\u6b21\u9875\u9762\u3002 \u867d\u7136\u5b58\u5728\u4e00\u5b9a\u7f3a\u9677\uff0c\u901a\u7528\u7f51\u7edc\u722c\u866b\u9002\u7528\u4e8e\u4e3a\u641c\u7d22\u5f15\u64ce\u641c\u7d22\u5e7f\u6cdb\u7684\u4e3b\u9898\uff0c\u6709\u8f83\u5f3a\u7684\u5e94\u7528\u4ef7\u503c \u3002
\u901a\u7528\u7f51\u7edc\u722c\u866b\u7684\u7ed3\u6784\u5927\u81f4\u53ef\u4ee5\u5206\u4e3a\u9875\u9762\u722c\u884c\u6a21\u5757 \u3001\u9875\u9762\u5206\u6790\u6a21\u5757\u3001\u94fe\u63a5\u8fc7\u6ee4\u6a21\u5757\u3001\u9875\u9762\u6570\u636e\u5e93\u3001URL \u961f\u5217\u3001\u521d\u59cb URL \u96c6\u5408\u51e0\u4e2a\u90e8\u5206\u3002\u4e3a\u63d0\u9ad8\u5de5\u4f5c\u6548\u7387\uff0c\u901a\u7528\u7f51\u7edc\u722c\u866b\u4f1a\u91c7\u53d6\u4e00\u5b9a\u7684\u722c\u884c\u7b56\u7565\u3002 \u5e38\u7528\u7684\u722c\u884c\u7b56\u7565\u6709\uff1a\u6df1\u5ea6\u4f18\u5148\u7b56\u7565\u3001\u5e7f\u5ea6\u4f18\u5148\u7b56\u7565 \u3002
1) \u6df1\u5ea6\u4f18\u5148\u7b56\u7565\uff1a\u5176\u57fa\u672c\u65b9\u6cd5\u662f\u6309\u7167\u6df1\u5ea6\u7531\u4f4e\u5230\u9ad8\u7684\u987a\u5e8f\uff0c\u4f9d\u6b21\u8bbf\u95ee\u4e0b\u4e00\u7ea7\u7f51\u9875\u94fe\u63a5\uff0c\u76f4\u5230\u4e0d\u80fd\u518d\u6df1\u5165\u4e3a\u6b62\u3002 \u722c\u866b\u5728\u5b8c\u6210\u4e00\u4e2a\u722c\u884c\u5206\u652f\u540e\u8fd4\u56de\u5230\u4e0a\u4e00\u94fe\u63a5\u8282\u70b9\u8fdb\u4e00\u6b65\u641c\u7d22\u5176\u5b83\u94fe\u63a5\u3002 \u5f53\u6240\u6709\u94fe\u63a5\u904d\u5386\u5b8c\u540e\uff0c\u722c\u884c\u4efb\u52a1\u7ed3\u675f\u3002 \u8fd9\u79cd\u7b56\u7565\u6bd4\u8f83\u9002\u5408\u5782\u76f4\u641c\u7d22\u6216\u7ad9\u5185\u641c\u7d22\uff0c \u4f46\u722c\u884c\u9875\u9762\u5185\u5bb9\u5c42\u6b21\u8f83\u6df1\u7684\u7ad9\u70b9\u65f6\u4f1a\u9020\u6210\u8d44\u6e90\u7684\u5de8\u5927\u6d6a\u8d39 \u3002
2) \u5e7f\u5ea6\u4f18\u5148\u7b56\u7565\uff1a\u6b64\u7b56\u7565\u6309\u7167\u7f51\u9875\u5185\u5bb9\u76ee\u5f55\u5c42\u6b21\u6df1\u6d45\u6765\u722c\u884c\u9875\u9762\uff0c\u5904\u4e8e\u8f83\u6d45\u76ee\u5f55\u5c42\u6b21\u7684\u9875\u9762\u9996\u5148\u88ab\u722c\u884c\u3002 \u5f53\u540c\u4e00\u5c42\u6b21\u4e2d\u7684\u9875\u9762\u722c\u884c\u5b8c\u6bd5\u540e\uff0c\u722c\u866b\u518d\u6df1\u5165\u4e0b\u4e00\u5c42\u7ee7\u7eed\u722c\u884c\u3002 \u8fd9\u79cd\u7b56\u7565\u80fd\u591f\u6709\u6548\u63a7\u5236\u9875\u9762\u7684\u722c\u884c\u6df1\u5ea6\uff0c\u907f\u514d\u9047\u5230\u4e00\u4e2a\u65e0\u7a77\u6df1\u5c42\u5206\u652f\u65f6\u65e0\u6cd5\u7ed3\u675f\u722c\u884c\u7684\u95ee\u9898\uff0c\u5b9e\u73b0\u65b9\u4fbf\uff0c\u65e0\u9700\u5b58\u50a8\u5927\u91cf\u4e2d\u95f4\u8282\u70b9\uff0c\u4e0d\u8db3\u4e4b\u5904\u5728\u4e8e\u9700\u8f83\u957f\u65f6\u95f4\u624d\u80fd\u722c\u884c\u5230\u76ee\u5f55\u5c42\u6b21\u8f83\u6df1\u7684\u9875\u9762\u3002
\u805a\u7126\u7f51\u7edc\u722c\u866b
\u805a\u7126\u7f51\u7edc\u722c\u866b\uff08Focused Crawler\uff09\uff0c\u53c8\u79f0\u4e3b\u9898\u7f51\u7edc\u722c\u866b\uff08Topical Crawler\uff09\uff0c\u662f\u6307\u9009\u62e9\u6027\u5730\u722c\u884c\u90a3\u4e9b\u4e0e\u9884\u5148\u5b9a\u4e49\u597d\u7684\u4e3b\u9898\u76f8\u5173\u9875\u9762\u7684\u7f51\u7edc\u722c\u866b\u3002 \u548c\u901a\u7528\u7f51\u7edc\u722c\u866b\u76f8\u6bd4\uff0c\u805a\u7126\u722c\u866b\u53ea\u9700\u8981\u722c\u884c\u4e0e\u4e3b\u9898\u76f8\u5173\u7684\u9875\u9762\uff0c\u6781\u5927\u5730\u8282\u7701\u4e86\u786c\u4ef6\u548c\u7f51\u7edc\u8d44\u6e90\uff0c\u4fdd\u5b58\u7684\u9875\u9762\u4e5f\u7531\u4e8e\u6570\u91cf\u5c11\u800c\u66f4\u65b0\u5feb\uff0c\u8fd8\u53ef\u4ee5\u5f88\u597d\u5730\u6ee1\u8db3\u4e00\u4e9b\u7279\u5b9a\u4eba\u7fa4\u5bf9\u7279\u5b9a\u9886\u57df\u4fe1\u606f\u7684\u9700\u6c42 \u3002
\u805a\u7126\u7f51\u7edc\u722c\u866b\u548c\u901a\u7528\u7f51\u7edc\u722c\u866b\u76f8\u6bd4\uff0c\u589e\u52a0\u4e86\u94fe\u63a5\u8bc4\u4ef7\u6a21\u5757\u4ee5\u53ca\u5185\u5bb9\u8bc4\u4ef7\u6a21\u5757\u3002\u805a\u7126\u722c\u866b\u722c\u884c\u7b56\u7565\u5b9e\u73b0\u7684\u5173\u952e\u662f\u8bc4\u4ef7\u9875\u9762\u5185\u5bb9\u548c\u94fe\u63a5\u7684\u91cd\u8981\u6027\uff0c\u4e0d\u540c\u7684\u65b9\u6cd5\u8ba1\u7b97\u51fa\u7684\u91cd\u8981\u6027\u4e0d\u540c\uff0c\u7531\u6b64\u5bfc\u81f4\u94fe\u63a5\u7684\u8bbf\u95ee\u987a\u5e8f\u4e5f\u4e0d\u540c \u3002
\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b
\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\uff08Incremental Web Crawler\uff09\u662f \u6307 \u5bf9 \u5df2 \u4e0b \u8f7d \u7f51 \u9875 \u91c7 \u53d6 \u589e \u91cf\u5f0f\u66f4\u65b0\u548c\u53ea\u722c\u884c\u65b0\u4ea7\u751f\u7684\u6216\u8005\u5df2\u7ecf\u53d1\u751f\u53d8\u5316\u7f51\u9875\u7684\u722c\u866b\uff0c\u5b83\u80fd\u591f\u5728\u4e00\u5b9a\u7a0b\u5ea6\u4e0a\u4fdd\u8bc1\u6240\u722c\u884c\u7684\u9875\u9762\u662f\u5c3d\u53ef\u80fd\u65b0\u7684\u9875\u9762\u3002 \u548c\u5468\u671f\u6027\u722c\u884c\u548c\u5237\u65b0\u9875\u9762\u7684\u7f51\u7edc\u722c\u866b\u76f8\u6bd4\uff0c\u589e\u91cf\u5f0f\u722c\u866b\u53ea\u4f1a\u5728\u9700\u8981\u7684\u65f6\u5019\u722c\u884c\u65b0\u4ea7\u751f\u6216\u53d1\u751f\u66f4\u65b0\u7684\u9875\u9762 \uff0c\u5e76\u4e0d\u91cd\u65b0\u4e0b\u8f7d\u6ca1\u6709\u53d1\u751f\u53d8\u5316\u7684\u9875\u9762\uff0c\u53ef\u6709\u6548\u51cf\u5c11\u6570\u636e\u4e0b\u8f7d\u91cf\uff0c\u53ca\u65f6\u66f4\u65b0\u5df2\u722c\u884c\u7684\u7f51\u9875\uff0c\u51cf\u5c0f\u65f6\u95f4\u548c\u7a7a\u95f4\u4e0a\u7684\u8017\u8d39\uff0c\u4f46\u662f\u589e\u52a0\u4e86\u722c\u884c\u7b97\u6cd5\u7684\u590d\u6742\u5ea6\u548c\u5b9e\u73b0\u96be\u5ea6\u3002\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\u7684\u4f53\u7cfb\u7ed3\u6784[\u5305\u542b\u722c\u884c\u6a21\u5757\u3001\u6392\u5e8f\u6a21\u5757\u3001\u66f4\u65b0\u6a21\u5757\u3001\u672c\u5730\u9875\u9762\u96c6\u3001\u5f85\u722c\u884c URL \u96c6\u4ee5\u53ca\u672c\u5730\u9875\u9762URL \u96c6 \u3002
\u589e\u91cf\u5f0f\u722c\u866b\u6709\u4e24\u4e2a\u76ee\u6807\uff1a\u4fdd\u6301\u672c\u5730\u9875\u9762\u96c6\u4e2d\u5b58\u50a8\u7684\u9875\u9762\u4e3a\u6700\u65b0\u9875\u9762\u548c\u63d0\u9ad8\u672c\u5730\u9875\u9762\u96c6\u4e2d\u9875\u9762\u7684\u8d28\u91cf\u3002 \u4e3a\u5b9e\u73b0\u7b2c\u4e00\u4e2a\u76ee\u6807\uff0c\u589e\u91cf\u5f0f\u722c\u866b\u9700\u8981\u901a\u8fc7\u91cd\u65b0\u8bbf\u95ee\u7f51\u9875\u6765\u66f4\u65b0\u672c\u5730\u9875\u9762\u96c6\u4e2d\u9875\u9762\u5185\u5bb9\uff0c\u5e38\u7528\u7684\u65b9\u6cd5\u6709\uff1a1) \u7edf\u4e00\u66f4\u65b0\u6cd5\uff1a\u722c\u866b\u4ee5\u76f8\u540c\u7684\u9891\u7387\u8bbf\u95ee\u6240\u6709\u7f51\u9875\uff0c\u4e0d\u8003\u8651\u7f51\u9875\u7684\u6539\u53d8\u9891\u7387\uff1b2) \u4e2a\u4f53\u66f4\u65b0\u6cd5\uff1a\u722c\u866b\u6839\u636e\u4e2a\u4f53\u7f51\u9875\u7684\u6539\u53d8\u9891\u7387\u6765\u91cd\u65b0\u8bbf\u95ee\u5404\u9875\u9762\uff1b3) \u57fa\u4e8e\u5206\u7c7b\u7684\u66f4\u65b0\u6cd5\uff1a\u722c\u866b\u6839\u636e\u7f51\u9875\u6539\u53d8\u9891\u7387\u5c06\u5176\u5206\u4e3a\u66f4\u65b0\u8f83\u5feb\u7f51\u9875\u5b50\u96c6\u548c\u66f4\u65b0\u8f83\u6162\u7f51\u9875\u5b50\u96c6\u4e24\u7c7b\uff0c\u7136\u540e\u4ee5\u4e0d\u540c\u7684\u9891\u7387\u8bbf\u95ee\u8fd9\u4e24\u7c7b\u7f51\u9875 \u3002
\u4e3a\u5b9e\u73b0\u7b2c\u4e8c\u4e2a\u76ee\u6807\uff0c\u589e\u91cf\u5f0f\u722c\u866b\u9700\u8981\u5bf9\u7f51\u9875\u7684\u91cd\u8981\u6027\u6392\u5e8f\uff0c\u5e38\u7528\u7684\u7b56\u7565\u6709\uff1a\u5e7f\u5ea6\u4f18\u5148\u7b56\u7565\u3001PageRank \u4f18\u5148\u7b56\u7565\u7b49\u3002IBM \u5f00\u53d1\u7684 WebFountain\u662f\u4e00\u4e2a\u529f\u80fd\u5f3a\u5927\u7684\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\uff0c\u5b83\u91c7\u7528\u4e00\u4e2a\u4f18\u5316\u6a21\u578b\u63a7\u5236\u722c\u884c\u8fc7\u7a0b\uff0c\u5e76\u6ca1\u6709\u5bf9\u9875\u9762\u53d8\u5316\u8fc7\u7a0b\u505a\u4efb\u4f55\u7edf\u8ba1\u5047\u8bbe\uff0c\u800c\u662f\u91c7\u7528\u4e00\u79cd\u81ea\u9002\u5e94\u7684\u65b9\u6cd5\u6839\u636e\u5148\u524d\u722c\u884c\u5468\u671f\u91cc\u722c\u884c\u7ed3\u679c\u548c\u7f51\u9875\u5b9e\u9645\u53d8\u5316\u901f\u5ea6\u5bf9\u9875\u9762\u66f4\u65b0\u9891\u7387\u8fdb\u884c\u8c03\u6574\u3002\u5317\u4eac\u5927\u5b66\u7684\u5929\u7f51\u589e\u91cf\u722c\u884c\u7cfb\u7edf\u65e8\u5728\u722c\u884c\u56fd\u5185 Web\uff0c\u5c06\u7f51\u9875\u5206\u4e3a\u53d8\u5316\u7f51\u9875\u548c\u65b0\u7f51\u9875\u4e24\u7c7b\uff0c\u5206\u522b\u91c7\u7528\u4e0d\u540c\u722c\u884c\u7b56\u7565\u3002 \u4e3a\u7f13\u89e3\u5bf9\u5927\u91cf\u7f51\u9875\u53d8\u5316\u5386\u53f2\u7ef4\u62a4\u5bfc\u81f4\u7684\u6027\u80fd\u74f6\u9888\uff0c\u5b83\u6839\u636e\u7f51\u9875\u53d8\u5316\u65f6\u95f4\u5c40\u90e8\u6027\u89c4\u5f8b\uff0c\u5728\u77ed\u65f6\u671f\u5185\u76f4\u63a5\u722c\u884c\u591a\u6b21\u53d8\u5316\u7684\u7f51\u9875 \uff0c\u4e3a\u5c3d\u5feb\u83b7\u53d6\u65b0\u7f51\u9875\uff0c\u5b83\u5229\u7528\u7d22\u5f15\u578b\u7f51\u9875\u8ddf\u8e2a\u65b0\u51fa\u73b0\u7f51\u9875 \u3002
Deep Web \u722c\u866b
Web \u9875\u9762\u6309\u5b58\u5728\u65b9\u5f0f\u53ef\u4ee5\u5206\u4e3a\u8868\u5c42\u7f51\u9875\uff08Surface Web\uff09\u548c\u6df1\u5c42\u7f51\u9875\uff08Deep Web\uff0c\u4e5f\u79f0 Invisible Web Pages \u6216 Hidden Web\uff09\u3002 \u8868\u5c42\u7f51\u9875\u662f\u6307\u4f20\u7edf\u641c\u7d22\u5f15\u64ce\u53ef\u4ee5\u7d22\u5f15\u7684\u9875\u9762\uff0c\u4ee5\u8d85\u94fe\u63a5\u53ef\u4ee5\u5230\u8fbe\u7684\u9759\u6001\u7f51\u9875\u4e3a\u4e3b\u6784\u6210\u7684 Web \u9875\u9762\u3002Deep Web \u662f\u90a3\u4e9b\u5927\u90e8\u5206\u5185\u5bb9\u4e0d\u80fd\u901a\u8fc7\u9759\u6001\u94fe\u63a5\u83b7\u53d6\u7684\u3001\u9690\u85cf\u5728\u641c\u7d22\u8868\u5355\u540e\u7684\uff0c\u53ea\u6709\u7528\u6237\u63d0\u4ea4\u4e00\u4e9b\u5173\u952e\u8bcd\u624d\u80fd\u83b7\u5f97\u7684 Web \u9875\u9762\u3002\u4f8b\u5982\u90a3\u4e9b\u7528\u6237\u6ce8\u518c\u540e\u5185\u5bb9\u624d\u53ef\u89c1\u7684\u7f51\u9875\u5c31\u5c5e\u4e8e Deep Web\u3002 2000 \u5e74 Bright Planet \u6307\u51fa\uff1aDeep Web \u4e2d\u53ef\u8bbf\u95ee\u4fe1\u606f\u5bb9\u91cf\u662f Surface Web \u7684\u51e0\u767e\u500d\uff0c\u662f\u4e92\u8054\u7f51\u4e0a\u6700\u5927\u3001\u53d1\u5c55\u6700\u5feb\u7684\u65b0\u578b\u4fe1\u606f\u8d44\u6e90 \u3002
\u53c2\u8003\u8d44\u6599\uff1a
\u767e\u5ea6\u767e\u79d1-\u7f51\u7edc\u722c\u866b
中文名
网络爬虫
外文名
web crawler
别称
网络蜘蛛
目的
按要求获取万维网信息
产生背景
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：
(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。
(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。
(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
网络爬虫与反爬虫是共存的，网络爬虫就是爬取采集别人网络的数据信息，爬虫技术泛滥后，原创的东西得不到保护，想方设法的保护自己努力的成果所以有了反爬虫机制。
反爬虫机制最常见的就是根据ip访问的频率来判断。当一个ip频繁的对网站进行访问，就会触发网站的反爬虫机制，ip将被限制或者禁用，爬虫工作无法继续进行。那怎么办呢?
1、可以降低爬取的速度，这样可以有效的减少被封的机率，这种方法不合适大量爬取的任务。
2、通过使用万变ip代理，不断更换全国各地ip,这样网站就无法识别判断ip是正在爬取采集工作，ip一定要选择像万变ip代理的高匿ip，不然采集过程中被识别那真是得不尝试！
网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
/iknow-pic.cdn.bcebos.com/d788d43f8794a4c2851e1fb402f41bd5ad6e3974"target="_blank"title="点击查看大图"class="ikqb_img_alink">/iknow-pic.cdn.bcebos.com/d788d43f8794a4c2851e1fb402f41bd5ad6e3974?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_600%2Ch_800%2Climit_1%2Fquality%2Cq_85%2Fformat%2Cf_auto"esrc="https://iknow-pic.cdn.bcebos.com/d788d43f8794a4c2851e1fb402f41bd5ad6e3974"/>
蚂蚁(ant)，自动检索工具(automaticindexer)，或者(在FOAF软件概念中)网络疾走(WEB
scutter)，是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。
它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理(分检整理下载的页面)，而使得用户能更快的检索到他们需要的信息。
网络爬虫始于一张被称作种子的统一资源地址(URLs)列表。当网络爬虫访问这些统一资源定位器时，它们会甄别出页面上所有的超链接，并将它们写入一张"待访列表"，即所谓"爬行疆域"(crawl
frontier)。
此疆域上的统一资源地址将被按照一套策略循环访问。如果爬虫在他执行的过程中复制归档和保存网站上的信息，这些档案通常储存，使他们可以被查看。阅读和浏览他们的网站上实时更新的信息，并保存为网站的“快照”。大容量的体积意味着网络爬虫只能在给定时间内下载有限数量的网页，所以要优先考虑其下载。
高变化率意味着网页可能已经被更新或者删除。一些被服务器端软件生成的URLs(统一资源定位符)也使得网络爬虫很难避免检索到重复内容。
网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。
①要具备扎实的python语法基础，这是一切的根基
②对前端知识有一定的了解，起码做到能看懂
③如何获取目标数据：requests模块等
④如何解析目标数据：正则，xpath，jsonpath等
⑤如何做到做到反反爬：经验总结
⑥如何大规模批量获取数据：scrapy框架
绛旓細1銆佺綉缁滅埇铏紙鍙堢О涓虹綉椤佃湗铔涳紝缃戠粶鏈哄櫒浜猴紝鍦‵OAF绀惧尯涓棿锛屾洿缁忓父鐨勭О涓虹綉椤佃拷閫愯咃級锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰呰爼铏2銆侀殢鐫缃戠粶鐨勮繀閫熷彂灞曪紝涓囩淮缃戞垚涓哄ぇ閲忎俊鎭殑杞戒綋锛屽浣曟湁鏁堝湴鎻愬彇骞跺埄鐢ㄨ繖浜涗俊鎭垚涓轰竴涓...
绛旓細缃戠粶鐖櫕鏄竴绉嶈嚜鍔ㄥ寲鎶撳彇浜掕仈缃戜笂淇℃伅鐨勭▼搴忔垨鑴氭湰銆傜綉缁滅埇铏紝涔熻绉颁綔缃戦〉铚樿洓鎴栫綉缁滄満鍣ㄤ汉锛屾槸涓绉嶆寜鐓т竴瀹氳鍒欒嚜鍔ㄦ姄鍙栦簰鑱旂綉涓婄殑淇℃伅鐨勭▼搴忋備互涓嬫槸鍏充簬缃戠粶鐖櫕鐨勮缁嗚В閲婏細1. 鍩烘湰瀹氫箟锛氱綉缁滅埇铏槸涓绉嶈嚜鍔ㄦ姄鍙栦簰鑱旂綉涓婁俊鎭殑杞欢銆傚畠浠寜鐓т竴瀹氱殑瑙勫垯鍜岀畻娉曪紝閬嶅巻浜掕仈缃戜笂鐨勭綉椤碉紝鏀堕泦鏁版嵁骞跺皢鍏跺瓨...
绛旓細缃戠粶鐖櫕锛屼篃鍙綉缁滄満鍣ㄤ汉锛岀綉椤佃湗铔銆傜綉缁滅埇铏紝閫氫織鐨勮锛灏辨槸鏍规嵁浜虹殑闇姹傦紝鍦ㄧ綉缁滀腑瀵绘壘闇瑕佺殑淇℃伅锛屽氨鍍忎竴鍙湗铔涗竴鏍峰湪缃戠粶涓埇鏉ョ埇鍘伙紝涓嶆柇瀵绘壘闇瑕佺殑淇℃伅銆傜綉缁滅埇铏湁鍠勬剰鐨勶紝姣斿鎼滅储寮曟搸鐨勭埇铏紝灏辨槸瀵绘壘鏈夌敤鐨勪俊鎭瓑鐫浣犳潵妫绱紝杩欒璁ゅ畾涓哄杽鎰忕埇铏傛湁鎭舵剰鐨勶紝姣斿鎶㈢エ杞欢鐨勭埇铏紝瀵圭綉绔欐瘡绉...
绛旓細缃戠粶鐖櫕(鍙堣绉颁负缃戦〉铚樿洓锛岀綉缁滄満鍣ㄤ汉锛屽湪FOAF绀惧尯涓棿锛屾洿缁忓父鐨勭О涓虹綉椤佃拷閫愯)锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰呰爼铏傝殏铓(ant)锛岃嚜鍔ㄦ绱㈠伐鍏(automaticindexer)锛屾垨鑰(鍦‵OAF杞欢姒傚康涓)缃戠粶鐤捐蛋(WEBscutter)锛...
绛旓細缃戠粶鐖櫕灏辨槸涓绉嶄粠浜掕仈缃戞姄鍙栨暟鎹俊鎭殑鑷姩鍖栫▼搴锛屽鏋滄垜浠皢浜掕仈缃戞瘮浣滀竴寮犲ぇ鐨勮湗铔涚綉锛屾暟鎹氨鏄瓨鏀惧湪铚樿洓缃戠殑涓涓妭鐐癸紝鐖櫕灏辨槸涓涓皬铚樿洓锛屾部鐫缃戠粶鎶撳彇鏁版嵁銆傜埇铏彲浠ュ湪鎶撳彇鐨勮繃绋嬩腑杩涜鍚勭寮傚父澶勭悊銆侀敊璇噸璇曠瓑鎿嶄綔锛岀‘淇濇姄鍙栨寔缁珮鏁堣繍琛屻傜埇铏垎涓洪氱敤鐖櫕浠ュ強涓撶敤鐖櫕锛岄氱敤鐖櫕鏄悳绱㈠紩鎿庢姄鍙...
绛旓細缃戠粶鐖櫕鏄竴绉嶈嚜鍔ㄥ寲鎶撳彇浜掕仈缃戜笂淇℃伅鐨勭▼搴忔垨鑴氭湰銆傜綉缁滅埇铏紝鍙堢О涓虹綉椤佃湗铔涖佺綉缁滄満鍣ㄤ汉绛夛紝鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯鍜岀畻娉曪紝鑷姩鍖栧湴鎶撳彇銆佸垎鏋愬拰鏀堕泦浜掕仈缃戜笂鐨勪俊鎭殑绋嬪簭鎴栬剼鏈傚畠浠兘澶熻嚜鍔ㄨ闂綉椤碉紝鑾峰彇缃戦〉鍐呭锛屽苟鎸夌収涓瀹氱殑瑙勫垯杩涜鏁版嵁瀛樺偍鍜屽鐞嗐傜綉缁滅埇铏殑鍩烘湰鍘熺悊鏄氳繃妯℃嫙娴忚鍣ㄨ涓猴紝鍚...
绛旓細缃戠粶鐖櫕锛坵eb crawler锛夛紝浠ュ墠缁忓父绉颁箣涓缃戠粶铚樿洓锛坰pider锛夛紝鏄寜鐓т竴瀹氱殑瑙勫垯鑷姩娴忚涓囩淮缃戝苟鑾峰彇淇℃伅鐨勬満鍣ㄤ汉绋嬪簭锛堟垨鑴氭湰锛夛紝鏇剧粡琚箍娉涚殑搴旂敤浜庝簰鑱旂綉鎼滅储寮曟搸銆備娇鐢ㄨ繃浜掕仈缃戝拰娴忚鍣ㄧ殑浜洪兘鐭ラ亾锛岀綉椤典腑闄や簡渚涚敤鎴烽槄璇荤殑鏂囧瓧淇℃伅涔嬪锛岃繕鍖呭惈涓浜涜秴閾炬帴銆傜綉缁滅埇铏郴缁熸鏄氳繃缃戦〉涓殑瓒呴摼鎺ヤ俊鎭笉鏂...
绛旓細鐖櫕鐨勬剰鎬濇槸鎸缃戠粶鐖櫕锛屾槸涓绉嶈嚜鍔ㄦ姄鍙栦簰鑱旂綉涓婁俊鎭殑绋嬪簭鎴栬剼鏈傜埇铏殑鍏蜂綋瑙ｉ噴濡備笅锛1. 鐖櫕鐨勫熀鏈蹇 鐖櫕锛屽張绉颁负缃戠粶鐖櫕锛屾槸涓绉嶈嚜鍔ㄥ寲绋嬪簭锛岃兘澶熷湪浜掕仈缃戜笂鑷姩鎶撳彇銆佸垎鏋愬拰鏀堕泦鏁版嵁銆傚畠浠寜鐓т竴瀹氱殑瑙勫垯鍜岀畻娉曪紝閬嶅巻浜掕仈缃戜笂鐨勭綉椤碉紝鏀堕泦鏁版嵁骞跺皢鍏跺瓨鍌ㄥ湪鏈湴銆2. 鐖櫕鐨勫伐浣滃師鐞 鐖櫕閫氳繃...
绛旓細缃戠粶鐖櫕鏄鐢ㄦ潵鎶撳彇缃戦〉淇℃伅鐨勭▼搴忥紝鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傜綉缁滅埇铏槸涓涓嚜鍔ㄦ彁鍙栫綉椤电殑绋嬪簭锛屽畠涓烘悳绱㈠紩鎿庝粠涓囩淮缃戜笂涓嬭浇缃戦〉锛屾槸鎼滅储寮曟搸鐨勯噸瑕佺粍鎴愩備紶缁熺埇铏粠涓涓垨鑻ュ共鍒濆缃戦〉鐨刄RL寮濮嬶紝鑾峰緱鍒濆缃戦〉涓婄殑URL锛屽湪鎶撳彇缃戦〉鐨勮繃绋嬩腑锛屼笉鏂粠褰撳墠椤甸潰涓婃娊鍙栨柊鐨...
绛旓細鐖櫕鐨勬剰鎬濇槸鎸囬氳繃缃戠粶鎶撳彇銆佸垎鏋愬拰鏀堕泦鏁版嵁鐨勭▼搴忔垨鑴氭湰銆傜埇铏紝鍙堢О涓缃戠粶鐖櫕锛屾槸涓绉嶈嚜鍔ㄥ寲绋嬪簭锛岃兘澶熷湪浜掕仈缃戜笂鎸夌収涓瀹氱殑瑙勫垯鍜岀畻娉曪紝鑷姩鎶撳彇銆佸垎鏋愬拰鏀堕泦鏁版嵁銆備互涓嬫槸鍏充簬鐖櫕鐨勮缁嗚В閲婏細1. 鐖櫕鐨勫熀鏈畾涔 鐖櫕鏄涓绉嶆寜鐓ф棦瀹氳鍒欒嚜鍔ㄦ姄鍙栦簰鑱旂綉淇℃伅鐨勭▼搴忋傝繖浜涜鍒欏寘鎷闂殑缃戝潃銆佹姄鍙栫殑鏁版嵁...
