网络爬虫是什么意思 请问什么是网络爬虫啊？是干什么的呢？
\u4ec0\u4e48\u662f\u7f51\u7edc\u722c\u866b1\u3001\u7f51\u7edc\u722c\u866b\u5c31\u662f\u4e3a\u5176\u63d0\u4f9b\u4fe1\u606f\u6765\u6e90\u7684\u7a0b\u5e8f\uff0c\u7f51\u7edc\u722c\u866b\uff08\u53c8\u88ab\u79f0\u4e3a\u7f51\u9875\u8718\u86db\uff0c\u7f51\u7edc\u673a\u5668\u4eba\uff0c\u5728FOAF\u793e\u533a\u4e2d\u95f4\uff0c\u66f4\u7ecf\u5e38\u88ab\u79f0\u4e3a\u7f51\u9875\u8ffd\u9010\u8005\uff09\uff0c\u662f\u4e00\u79cd\u6309\u7167\u4e00\u5b9a\u7684\u89c4\u5219\uff0c\u81ea\u52a8\u7684\u6293\u53d6\u4e07\u7ef4\u7f51\u4fe1\u606f\u7684\u7a0b\u5e8f\u6216\u8005\u811a\u672c\uff0c\u5df2\u88ab\u5e7f\u6cdb\u5e94\u7528\u4e8e\u4e92\u8054\u7f51\u9886\u57df\u3002
2\u3001\u641c\u7d22\u5f15\u64ce\u4f7f\u7528\u7f51\u7edc\u722c\u866b\u6293\u53d6Web\u7f51\u9875\u3001\u6587\u6863\u751a\u81f3\u56fe\u7247\u3001\u97f3\u9891\u3001\u89c6\u9891\u7b49\u8d44\u6e90\uff0c\u901a\u8fc7\u76f8\u5e94\u7684\u7d22\u5f15\u6280\u672f\u7ec4\u7ec7\u8fd9\u4e9b\u4fe1\u606f\uff0c\u63d0\u4f9b\u7ed9\u641c\u7d22\u7528\u6237\u8fdb\u884c\u67e5\u8be2\u3002\u7f51\u7edc\u722c\u866b\u4e5f\u4e3a\u4e2d\u5c0f\u7ad9\u70b9\u7684\u63a8\u5e7f\u63d0\u4f9b\u4e86\u6709\u6548\u7684\u9014\u5f84\u3002
\u62d3\u5c55\u8d44\u6599\uff1a\u7f51\u7edc\u722c\u866b\u53e6\u5916\u4e00\u4e9b\u4e0d\u5e38\u4f7f\u7528\u7684\u540d\u5b57\u8fd8\u6709\u8682\u8681\uff0c\u81ea\u52a8\u7d22\u5f15\uff0c\u6a21\u62df\u7a0b\u5e8f\u6216\u8005\u8815\u866b\u3002\u968f\u7740\u7f51\u7edc\u7684\u8fc5\u901f\u53d1\u5c55\uff0c\u4e07\u7ef4\u7f51\u6210\u4e3a\u5927\u91cf\u4fe1\u606f\u7684\u8f7d\u4f53\uff0c\u5982\u4f55\u6709\u6548\u5730\u63d0\u53d6\u5e76\u5229\u7528\u8fd9\u4e9b\u4fe1\u606f\u6210\u4e3a\u4e00\u4e2a\u5de8\u5927\u7684\u6311\u6218\u3002
\u641c\u7d22\u5f15\u64ce\uff08Search Engine\uff09\uff0c\u4f8b\u5982\u4f20\u7edf\u7684\u901a\u7528\u641c\u7d22\u5f15\u64ceAltaVista\uff0cYahoo\uff01\u548cGoogle\u7b49\uff0c\u4f5c\u4e3a\u4e00\u4e2a\u8f85\u52a9\u4eba\u4eec\u68c0\u7d22\u4fe1\u606f\u7684\u5de5\u5177\u6210\u4e3a\u7528\u6237\u8bbf\u95ee\u4e07\u7ef4\u7f51\u7684\u5165\u53e3\u548c\u6307\u5357\u3002\u4f46\u662f\uff0c\u8fd9\u4e9b\u901a\u7528\u6027\u641c\u7d22\u5f15\u64ce\u4e5f\u5b58\u5728\u7740\u4e00\u5b9a\u7684\u5c40\u9650\u6027\uff0c\u5982\uff1a
\uff081\uff09 \u4e0d\u540c\u9886\u57df\u3001\u4e0d\u540c\u80cc\u666f\u7684\u7528\u6237\u5f80\u5f80\u5177\u6709\u4e0d\u540c\u7684\u68c0\u7d22\u76ee\u7684\u548c\u9700\u6c42\uff0c\u901a\u7528\u641c\u7d22\u5f15\u64ce\u6240\u8fd4\u56de\u7684\u7ed3\u679c\u5305\u542b\u5927\u91cf\u7528\u6237\u4e0d\u5173\u5fc3\u7684\u7f51\u9875\u3002
\uff082\uff09\u901a\u7528\u641c\u7d22\u5f15\u64ce\u7684\u76ee\u6807\u662f\u5c3d\u53ef\u80fd\u5927\u7684\u7f51\u7edc\u8986\u76d6\u7387\uff0c\u6709\u9650\u7684\u641c\u7d22\u5f15\u64ce\u670d\u52a1\u5668\u8d44\u6e90\u4e0e\u65e0\u9650\u7684\u7f51\u7edc\u6570\u636e\u8d44\u6e90\u4e4b\u95f4\u7684\u77db\u76fe\u5c06\u8fdb\u4e00\u6b65\u52a0\u6df1\u3002
\uff083\uff09\u4e07\u7ef4\u7f51\u6570\u636e\u5f62\u5f0f\u7684\u4e30\u5bcc\u548c\u7f51\u7edc\u6280\u672f\u7684\u4e0d\u65ad\u53d1\u5c55\uff0c\u56fe\u7247\u3001\u6570\u636e\u5e93\u3001\u97f3\u9891\u3001\u89c6\u9891\u591a\u5a92\u4f53\u7b49\u4e0d\u540c\u6570\u636e\u5927\u91cf\u51fa\u73b0\uff0c\u901a\u7528\u641c\u7d22\u5f15\u64ce\u5f80\u5f80\u5bf9\u8fd9\u4e9b\u4fe1\u606f\u542b\u91cf\u5bc6\u96c6\u4e14\u5177\u6709\u4e00\u5b9a\u7ed3\u6784\u7684\u6570\u636e\u65e0\u80fd\u4e3a\u529b\uff0c\u4e0d\u80fd\u5f88\u597d\u5730\u53d1\u73b0\u548c\u83b7\u53d6\u3002
\uff084\uff09\u901a\u7528\u641c\u7d22\u5f15\u64ce\u5927\u591a\u63d0\u4f9b\u57fa\u4e8e\u5173\u952e\u5b57\u7684\u68c0\u7d22\uff0c\u96be\u4ee5\u652f\u6301\u6839\u636e\u8bed\u4e49\u4fe1\u606f\u63d0\u51fa\u7684\u67e5\u8be2\u3002
\u722c\u866b\u5c31\u662f\u80fd\u591f\u81ea\u52a8\u8bbf\u95ee\u4e92\u8054\u7f51\u5e76\u5c06\u7f51\u7ad9\u5185\u5bb9\u4e0b\u8f7d\u4e0b\u6765\u7684\u7684\u7a0b\u5e8f\u6216\u811a\u672c\uff0c\u7c7b\u4f3c\u4e00\u4e2a\u673a\u5668\u4eba\uff0c\u80fd\u628a\u522b\u4eba\u7f51\u7ad9\u7684\u4fe1\u606f\u5f04\u5230\u81ea\u5df1\u7684\u7535\u8111\u4e0a\uff0c\u518d\u505a\u4e00\u4e9b\u8fc7\u6ee4\uff0c\u7b5b\u9009\uff0c\u5f52\u7eb3\uff0c\u6574\u7406\uff0c\u6392\u5e8f\u7b49\u7b49\u3002
\u7f51\u7edc\u722c\u866b\u80fd\u505a\u4ec0\u4e48\uff1a\u6570\u636e\u91c7\u96c6\u3002
\u7f51\u7edc\u722c\u866b\u662f\u4e00\u4e2a\u81ea\u52a8\u63d0\u53d6\u7f51\u9875\u7684\u7a0b\u5e8f\uff0c\u5b83\u4e3a\u641c\u7d22\u5f15\u64ce\u4ece\u4e07\u7ef4\u7f51\u4e0a\u4e0b\u8f7d\u7f51\u9875\uff0c\u662f\u641c\u7d22\u5f15\u64ce\u7684\u91cd\u8981\u7ec4\u6210\u3002\u4f20\u7edf\u722c\u866b\u4ece\u4e00\u4e2a\u6216\u82e5\u5e72\u521d\u59cb\u7f51\u9875\u7684URL\u5f00\u59cb\uff0c\u83b7\u5f97\u521d\u59cb\u7f51\u9875\u4e0a\u7684URL\uff0c\u5728\u6293\u53d6\u7f51\u9875\u7684\u8fc7\u7a0b\u4e2d\uff0c\u4e0d\u65ad\u4ece\u5f53\u524d\u9875\u9762\u4e0a\u62bd\u53d6\u65b0\u7684URL\u653e\u5165\u961f\u5217,\u76f4\u5230\u6ee1\u8db3\u7cfb\u7edf\u7684\u4e00\u5b9a\u505c\u6b62\u6761\u4ef6\u3002
\u6269\u5c55\u8d44\u6599\uff1a
\u7f51\u7edc\u722c\u866b\u6309\u7167\u7cfb\u7edf\u7ed3\u6784\u548c\u5b9e\u73b0\u6280\u672f\uff0c\u5927\u81f4\u53ef\u4ee5\u5206\u4e3a\u4ee5\u4e0b\u51e0\u79cd\u7c7b\u578b\uff1a\u901a\u7528\u7f51\u7edc\u722c\u866b\uff08General Purpose Web Crawler\uff09\u3001\u805a\u7126\u7f51\u7edc\u722c\u866b\uff08Focused Web Crawler\uff09\u3001\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\uff08Incremental Web Crawler\uff09\u3001\u6df1\u5c42\u7f51\u7edc\u722c\u866b\uff08Deep Web Crawler\uff09\u3002 \u5b9e\u9645\u7684\u7f51\u7edc\u722c\u866b\u7cfb\u7edf\u901a\u5e38\u662f\u51e0\u79cd\u722c\u866b\u6280\u672f\u76f8\u7ed3\u5408\u5b9e\u73b0\u7684 \u3002
\u901a\u7528\u7f51\u7edc\u722c\u866b
\u901a\u7528\u7f51\u7edc\u722c\u866b\u53c8\u79f0\u5168\u7f51\u722c\u866b\uff08Scalable Web Crawler\uff09\uff0c\u722c\u884c\u5bf9\u8c61\u4ece\u4e00\u4e9b\u79cd\u5b50 URL \u6269\u5145\u5230\u6574\u4e2a Web\uff0c\u4e3b\u8981\u4e3a\u95e8\u6237\u7ad9\u70b9\u641c\u7d22\u5f15\u64ce\u548c\u5927\u578b Web \u670d\u52a1\u63d0\u4f9b\u5546\u91c7\u96c6\u6570\u636e\u3002 \u7531\u4e8e\u5546\u4e1a\u539f\u56e0\uff0c\u5b83\u4eec\u7684\u6280\u672f\u7ec6\u8282\u5f88\u5c11\u516c\u5e03\u51fa\u6765\u3002 \u8fd9\u7c7b\u7f51\u7edc\u722c\u866b\u7684\u722c\u884c\u8303\u56f4\u548c\u6570\u91cf\u5de8\u5927\uff0c\u5bf9\u4e8e\u722c\u884c\u901f\u5ea6\u548c\u5b58\u50a8\u7a7a\u95f4\u8981\u6c42\u8f83\u9ad8\uff0c\u5bf9\u4e8e\u722c\u884c\u9875\u9762\u7684\u987a\u5e8f\u8981\u6c42\u76f8\u5bf9\u8f83\u4f4e\uff0c\u540c\u65f6\u7531\u4e8e\u5f85\u5237\u65b0\u7684\u9875\u9762\u592a\u591a\uff0c\u901a\u5e38\u91c7\u7528\u5e76\u884c\u5de5\u4f5c\u65b9\u5f0f\uff0c\u4f46\u9700\u8981\u8f83\u957f\u65f6\u95f4\u624d\u80fd\u5237\u65b0\u4e00\u6b21\u9875\u9762\u3002 \u867d\u7136\u5b58\u5728\u4e00\u5b9a\u7f3a\u9677\uff0c\u901a\u7528\u7f51\u7edc\u722c\u866b\u9002\u7528\u4e8e\u4e3a\u641c\u7d22\u5f15\u64ce\u641c\u7d22\u5e7f\u6cdb\u7684\u4e3b\u9898\uff0c\u6709\u8f83\u5f3a\u7684\u5e94\u7528\u4ef7\u503c \u3002
\u901a\u7528\u7f51\u7edc\u722c\u866b\u7684\u7ed3\u6784\u5927\u81f4\u53ef\u4ee5\u5206\u4e3a\u9875\u9762\u722c\u884c\u6a21\u5757 \u3001\u9875\u9762\u5206\u6790\u6a21\u5757\u3001\u94fe\u63a5\u8fc7\u6ee4\u6a21\u5757\u3001\u9875\u9762\u6570\u636e\u5e93\u3001URL \u961f\u5217\u3001\u521d\u59cb URL \u96c6\u5408\u51e0\u4e2a\u90e8\u5206\u3002\u4e3a\u63d0\u9ad8\u5de5\u4f5c\u6548\u7387\uff0c\u901a\u7528\u7f51\u7edc\u722c\u866b\u4f1a\u91c7\u53d6\u4e00\u5b9a\u7684\u722c\u884c\u7b56\u7565\u3002 \u5e38\u7528\u7684\u722c\u884c\u7b56\u7565\u6709\uff1a\u6df1\u5ea6\u4f18\u5148\u7b56\u7565\u3001\u5e7f\u5ea6\u4f18\u5148\u7b56\u7565 \u3002
1) \u6df1\u5ea6\u4f18\u5148\u7b56\u7565\uff1a\u5176\u57fa\u672c\u65b9\u6cd5\u662f\u6309\u7167\u6df1\u5ea6\u7531\u4f4e\u5230\u9ad8\u7684\u987a\u5e8f\uff0c\u4f9d\u6b21\u8bbf\u95ee\u4e0b\u4e00\u7ea7\u7f51\u9875\u94fe\u63a5\uff0c\u76f4\u5230\u4e0d\u80fd\u518d\u6df1\u5165\u4e3a\u6b62\u3002 \u722c\u866b\u5728\u5b8c\u6210\u4e00\u4e2a\u722c\u884c\u5206\u652f\u540e\u8fd4\u56de\u5230\u4e0a\u4e00\u94fe\u63a5\u8282\u70b9\u8fdb\u4e00\u6b65\u641c\u7d22\u5176\u5b83\u94fe\u63a5\u3002 \u5f53\u6240\u6709\u94fe\u63a5\u904d\u5386\u5b8c\u540e\uff0c\u722c\u884c\u4efb\u52a1\u7ed3\u675f\u3002 \u8fd9\u79cd\u7b56\u7565\u6bd4\u8f83\u9002\u5408\u5782\u76f4\u641c\u7d22\u6216\u7ad9\u5185\u641c\u7d22\uff0c \u4f46\u722c\u884c\u9875\u9762\u5185\u5bb9\u5c42\u6b21\u8f83\u6df1\u7684\u7ad9\u70b9\u65f6\u4f1a\u9020\u6210\u8d44\u6e90\u7684\u5de8\u5927\u6d6a\u8d39 \u3002
2) \u5e7f\u5ea6\u4f18\u5148\u7b56\u7565\uff1a\u6b64\u7b56\u7565\u6309\u7167\u7f51\u9875\u5185\u5bb9\u76ee\u5f55\u5c42\u6b21\u6df1\u6d45\u6765\u722c\u884c\u9875\u9762\uff0c\u5904\u4e8e\u8f83\u6d45\u76ee\u5f55\u5c42\u6b21\u7684\u9875\u9762\u9996\u5148\u88ab\u722c\u884c\u3002 \u5f53\u540c\u4e00\u5c42\u6b21\u4e2d\u7684\u9875\u9762\u722c\u884c\u5b8c\u6bd5\u540e\uff0c\u722c\u866b\u518d\u6df1\u5165\u4e0b\u4e00\u5c42\u7ee7\u7eed\u722c\u884c\u3002 \u8fd9\u79cd\u7b56\u7565\u80fd\u591f\u6709\u6548\u63a7\u5236\u9875\u9762\u7684\u722c\u884c\u6df1\u5ea6\uff0c\u907f\u514d\u9047\u5230\u4e00\u4e2a\u65e0\u7a77\u6df1\u5c42\u5206\u652f\u65f6\u65e0\u6cd5\u7ed3\u675f\u722c\u884c\u7684\u95ee\u9898\uff0c\u5b9e\u73b0\u65b9\u4fbf\uff0c\u65e0\u9700\u5b58\u50a8\u5927\u91cf\u4e2d\u95f4\u8282\u70b9\uff0c\u4e0d\u8db3\u4e4b\u5904\u5728\u4e8e\u9700\u8f83\u957f\u65f6\u95f4\u624d\u80fd\u722c\u884c\u5230\u76ee\u5f55\u5c42\u6b21\u8f83\u6df1\u7684\u9875\u9762\u3002
\u805a\u7126\u7f51\u7edc\u722c\u866b
\u805a\u7126\u7f51\u7edc\u722c\u866b\uff08Focused Crawler\uff09\uff0c\u53c8\u79f0\u4e3b\u9898\u7f51\u7edc\u722c\u866b\uff08Topical Crawler\uff09\uff0c\u662f\u6307\u9009\u62e9\u6027\u5730\u722c\u884c\u90a3\u4e9b\u4e0e\u9884\u5148\u5b9a\u4e49\u597d\u7684\u4e3b\u9898\u76f8\u5173\u9875\u9762\u7684\u7f51\u7edc\u722c\u866b\u3002 \u548c\u901a\u7528\u7f51\u7edc\u722c\u866b\u76f8\u6bd4\uff0c\u805a\u7126\u722c\u866b\u53ea\u9700\u8981\u722c\u884c\u4e0e\u4e3b\u9898\u76f8\u5173\u7684\u9875\u9762\uff0c\u6781\u5927\u5730\u8282\u7701\u4e86\u786c\u4ef6\u548c\u7f51\u7edc\u8d44\u6e90\uff0c\u4fdd\u5b58\u7684\u9875\u9762\u4e5f\u7531\u4e8e\u6570\u91cf\u5c11\u800c\u66f4\u65b0\u5feb\uff0c\u8fd8\u53ef\u4ee5\u5f88\u597d\u5730\u6ee1\u8db3\u4e00\u4e9b\u7279\u5b9a\u4eba\u7fa4\u5bf9\u7279\u5b9a\u9886\u57df\u4fe1\u606f\u7684\u9700\u6c42 \u3002
\u805a\u7126\u7f51\u7edc\u722c\u866b\u548c\u901a\u7528\u7f51\u7edc\u722c\u866b\u76f8\u6bd4\uff0c\u589e\u52a0\u4e86\u94fe\u63a5\u8bc4\u4ef7\u6a21\u5757\u4ee5\u53ca\u5185\u5bb9\u8bc4\u4ef7\u6a21\u5757\u3002\u805a\u7126\u722c\u866b\u722c\u884c\u7b56\u7565\u5b9e\u73b0\u7684\u5173\u952e\u662f\u8bc4\u4ef7\u9875\u9762\u5185\u5bb9\u548c\u94fe\u63a5\u7684\u91cd\u8981\u6027\uff0c\u4e0d\u540c\u7684\u65b9\u6cd5\u8ba1\u7b97\u51fa\u7684\u91cd\u8981\u6027\u4e0d\u540c\uff0c\u7531\u6b64\u5bfc\u81f4\u94fe\u63a5\u7684\u8bbf\u95ee\u987a\u5e8f\u4e5f\u4e0d\u540c \u3002
\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b
\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\uff08Incremental Web Crawler\uff09\u662f \u6307 \u5bf9 \u5df2 \u4e0b \u8f7d \u7f51 \u9875 \u91c7 \u53d6 \u589e \u91cf\u5f0f\u66f4\u65b0\u548c\u53ea\u722c\u884c\u65b0\u4ea7\u751f\u7684\u6216\u8005\u5df2\u7ecf\u53d1\u751f\u53d8\u5316\u7f51\u9875\u7684\u722c\u866b\uff0c\u5b83\u80fd\u591f\u5728\u4e00\u5b9a\u7a0b\u5ea6\u4e0a\u4fdd\u8bc1\u6240\u722c\u884c\u7684\u9875\u9762\u662f\u5c3d\u53ef\u80fd\u65b0\u7684\u9875\u9762\u3002 \u548c\u5468\u671f\u6027\u722c\u884c\u548c\u5237\u65b0\u9875\u9762\u7684\u7f51\u7edc\u722c\u866b\u76f8\u6bd4\uff0c\u589e\u91cf\u5f0f\u722c\u866b\u53ea\u4f1a\u5728\u9700\u8981\u7684\u65f6\u5019\u722c\u884c\u65b0\u4ea7\u751f\u6216\u53d1\u751f\u66f4\u65b0\u7684\u9875\u9762 \uff0c\u5e76\u4e0d\u91cd\u65b0\u4e0b\u8f7d\u6ca1\u6709\u53d1\u751f\u53d8\u5316\u7684\u9875\u9762\uff0c\u53ef\u6709\u6548\u51cf\u5c11\u6570\u636e\u4e0b\u8f7d\u91cf\uff0c\u53ca\u65f6\u66f4\u65b0\u5df2\u722c\u884c\u7684\u7f51\u9875\uff0c\u51cf\u5c0f\u65f6\u95f4\u548c\u7a7a\u95f4\u4e0a\u7684\u8017\u8d39\uff0c\u4f46\u662f\u589e\u52a0\u4e86\u722c\u884c\u7b97\u6cd5\u7684\u590d\u6742\u5ea6\u548c\u5b9e\u73b0\u96be\u5ea6\u3002\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\u7684\u4f53\u7cfb\u7ed3\u6784[\u5305\u542b\u722c\u884c\u6a21\u5757\u3001\u6392\u5e8f\u6a21\u5757\u3001\u66f4\u65b0\u6a21\u5757\u3001\u672c\u5730\u9875\u9762\u96c6\u3001\u5f85\u722c\u884c URL \u96c6\u4ee5\u53ca\u672c\u5730\u9875\u9762URL \u96c6 \u3002
\u589e\u91cf\u5f0f\u722c\u866b\u6709\u4e24\u4e2a\u76ee\u6807\uff1a\u4fdd\u6301\u672c\u5730\u9875\u9762\u96c6\u4e2d\u5b58\u50a8\u7684\u9875\u9762\u4e3a\u6700\u65b0\u9875\u9762\u548c\u63d0\u9ad8\u672c\u5730\u9875\u9762\u96c6\u4e2d\u9875\u9762\u7684\u8d28\u91cf\u3002 \u4e3a\u5b9e\u73b0\u7b2c\u4e00\u4e2a\u76ee\u6807\uff0c\u589e\u91cf\u5f0f\u722c\u866b\u9700\u8981\u901a\u8fc7\u91cd\u65b0\u8bbf\u95ee\u7f51\u9875\u6765\u66f4\u65b0\u672c\u5730\u9875\u9762\u96c6\u4e2d\u9875\u9762\u5185\u5bb9\uff0c\u5e38\u7528\u7684\u65b9\u6cd5\u6709\uff1a1) \u7edf\u4e00\u66f4\u65b0\u6cd5\uff1a\u722c\u866b\u4ee5\u76f8\u540c\u7684\u9891\u7387\u8bbf\u95ee\u6240\u6709\u7f51\u9875\uff0c\u4e0d\u8003\u8651\u7f51\u9875\u7684\u6539\u53d8\u9891\u7387\uff1b2) \u4e2a\u4f53\u66f4\u65b0\u6cd5\uff1a\u722c\u866b\u6839\u636e\u4e2a\u4f53\u7f51\u9875\u7684\u6539\u53d8\u9891\u7387\u6765\u91cd\u65b0\u8bbf\u95ee\u5404\u9875\u9762\uff1b3) \u57fa\u4e8e\u5206\u7c7b\u7684\u66f4\u65b0\u6cd5\uff1a\u722c\u866b\u6839\u636e\u7f51\u9875\u6539\u53d8\u9891\u7387\u5c06\u5176\u5206\u4e3a\u66f4\u65b0\u8f83\u5feb\u7f51\u9875\u5b50\u96c6\u548c\u66f4\u65b0\u8f83\u6162\u7f51\u9875\u5b50\u96c6\u4e24\u7c7b\uff0c\u7136\u540e\u4ee5\u4e0d\u540c\u7684\u9891\u7387\u8bbf\u95ee\u8fd9\u4e24\u7c7b\u7f51\u9875 \u3002
\u4e3a\u5b9e\u73b0\u7b2c\u4e8c\u4e2a\u76ee\u6807\uff0c\u589e\u91cf\u5f0f\u722c\u866b\u9700\u8981\u5bf9\u7f51\u9875\u7684\u91cd\u8981\u6027\u6392\u5e8f\uff0c\u5e38\u7528\u7684\u7b56\u7565\u6709\uff1a\u5e7f\u5ea6\u4f18\u5148\u7b56\u7565\u3001PageRank \u4f18\u5148\u7b56\u7565\u7b49\u3002IBM \u5f00\u53d1\u7684 WebFountain\u662f\u4e00\u4e2a\u529f\u80fd\u5f3a\u5927\u7684\u589e\u91cf\u5f0f\u7f51\u7edc\u722c\u866b\uff0c\u5b83\u91c7\u7528\u4e00\u4e2a\u4f18\u5316\u6a21\u578b\u63a7\u5236\u722c\u884c\u8fc7\u7a0b\uff0c\u5e76\u6ca1\u6709\u5bf9\u9875\u9762\u53d8\u5316\u8fc7\u7a0b\u505a\u4efb\u4f55\u7edf\u8ba1\u5047\u8bbe\uff0c\u800c\u662f\u91c7\u7528\u4e00\u79cd\u81ea\u9002\u5e94\u7684\u65b9\u6cd5\u6839\u636e\u5148\u524d\u722c\u884c\u5468\u671f\u91cc\u722c\u884c\u7ed3\u679c\u548c\u7f51\u9875\u5b9e\u9645\u53d8\u5316\u901f\u5ea6\u5bf9\u9875\u9762\u66f4\u65b0\u9891\u7387\u8fdb\u884c\u8c03\u6574\u3002\u5317\u4eac\u5927\u5b66\u7684\u5929\u7f51\u589e\u91cf\u722c\u884c\u7cfb\u7edf\u65e8\u5728\u722c\u884c\u56fd\u5185 Web\uff0c\u5c06\u7f51\u9875\u5206\u4e3a\u53d8\u5316\u7f51\u9875\u548c\u65b0\u7f51\u9875\u4e24\u7c7b\uff0c\u5206\u522b\u91c7\u7528\u4e0d\u540c\u722c\u884c\u7b56\u7565\u3002 \u4e3a\u7f13\u89e3\u5bf9\u5927\u91cf\u7f51\u9875\u53d8\u5316\u5386\u53f2\u7ef4\u62a4\u5bfc\u81f4\u7684\u6027\u80fd\u74f6\u9888\uff0c\u5b83\u6839\u636e\u7f51\u9875\u53d8\u5316\u65f6\u95f4\u5c40\u90e8\u6027\u89c4\u5f8b\uff0c\u5728\u77ed\u65f6\u671f\u5185\u76f4\u63a5\u722c\u884c\u591a\u6b21\u53d8\u5316\u7684\u7f51\u9875 \uff0c\u4e3a\u5c3d\u5feb\u83b7\u53d6\u65b0\u7f51\u9875\uff0c\u5b83\u5229\u7528\u7d22\u5f15\u578b\u7f51\u9875\u8ddf\u8e2a\u65b0\u51fa\u73b0\u7f51\u9875 \u3002
Deep Web \u722c\u866b
Web \u9875\u9762\u6309\u5b58\u5728\u65b9\u5f0f\u53ef\u4ee5\u5206\u4e3a\u8868\u5c42\u7f51\u9875\uff08Surface Web\uff09\u548c\u6df1\u5c42\u7f51\u9875\uff08Deep Web\uff0c\u4e5f\u79f0 Invisible Web Pages \u6216 Hidden Web\uff09\u3002 \u8868\u5c42\u7f51\u9875\u662f\u6307\u4f20\u7edf\u641c\u7d22\u5f15\u64ce\u53ef\u4ee5\u7d22\u5f15\u7684\u9875\u9762\uff0c\u4ee5\u8d85\u94fe\u63a5\u53ef\u4ee5\u5230\u8fbe\u7684\u9759\u6001\u7f51\u9875\u4e3a\u4e3b\u6784\u6210\u7684 Web \u9875\u9762\u3002Deep Web \u662f\u90a3\u4e9b\u5927\u90e8\u5206\u5185\u5bb9\u4e0d\u80fd\u901a\u8fc7\u9759\u6001\u94fe\u63a5\u83b7\u53d6\u7684\u3001\u9690\u85cf\u5728\u641c\u7d22\u8868\u5355\u540e\u7684\uff0c\u53ea\u6709\u7528\u6237\u63d0\u4ea4\u4e00\u4e9b\u5173\u952e\u8bcd\u624d\u80fd\u83b7\u5f97\u7684 Web \u9875\u9762\u3002\u4f8b\u5982\u90a3\u4e9b\u7528\u6237\u6ce8\u518c\u540e\u5185\u5bb9\u624d\u53ef\u89c1\u7684\u7f51\u9875\u5c31\u5c5e\u4e8e Deep Web\u3002 2000 \u5e74 Bright Planet \u6307\u51fa\uff1aDeep Web \u4e2d\u53ef\u8bbf\u95ee\u4fe1\u606f\u5bb9\u91cf\u662f Surface Web \u7684\u51e0\u767e\u500d\uff0c\u662f\u4e92\u8054\u7f51\u4e0a\u6700\u5927\u3001\u53d1\u5c55\u6700\u5feb\u7684\u65b0\u578b\u4fe1\u606f\u8d44\u6e90 \u3002
\u53c2\u8003\u8d44\u6599\uff1a
\u767e\u5ea6\u767e\u79d1-\u7f51\u7edc\u722c\u866b
网络爬虫与反爬虫是共存的，网络爬虫就是爬取采集别人网络的数据信息，爬虫技术泛滥后，原创的东西得不到保护，想方设法的保护自己努力的成果所以有了反爬虫机制。
反爬虫机制最常见的就是根据ip访问的频率来判断。当一个ip频繁的对网站进行访问，就会触发网站的反爬虫机制，ip将被限制或者禁用，爬虫工作无法继续进行。那怎么办呢?
1、可以降低爬取的速度，这样可以有效的减少被封的机率，这种方法不合适大量爬取的任务。
2、通过使用万变ip代理，不断更换全国各地ip,这样网站就无法识别判断ip是正在爬取采集工作，ip一定要选择像万变ip代理的高匿ip，不然采集过程中被识别那真是得不尝试！
你就理解成捡垃圾：大街上没人要的随便你捡，家里的院里的不能动！不然，刑不刑的，就看人家了
网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
/iknow-pic.cdn.bcebos.com/d788d43f8794a4c2851e1fb402f41bd5ad6e3974"target="_blank"title="点击查看大图"class="ikqb_img_alink">/iknow-pic.cdn.bcebos.com/d788d43f8794a4c2851e1fb402f41bd5ad6e3974?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_600%2Ch_800%2Climit_1%2Fquality%2Cq_85%2Fformat%2Cf_auto"esrc="https://iknow-pic.cdn.bcebos.com/d788d43f8794a4c2851e1fb402f41bd5ad6e3974"/>
蚂蚁(ant)，自动检索工具(automaticindexer)，或者(在FOAF软件概念中)网络疾走(WEB
scutter)，是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。
它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理(分检整理下载的页面)，而使得用户能更快的检索到他们需要的信息。
网络爬虫始于一张被称作种子的统一资源地址(URLs)列表。当网络爬虫访问这些统一资源定位器时，它们会甄别出页面上所有的超链接，并将它们写入一张"待访列表"，即所谓"爬行疆域"(crawl
frontier)。
此疆域上的统一资源地址将被按照一套策略循环访问。如果爬虫在他执行的过程中复制归档和保存网站上的信息，这些档案通常储存，使他们可以被查看。阅读和浏览他们的网站上实时更新的信息，并保存为网站的“快照”。大容量的体积意味着网络爬虫只能在给定时间内下载有限数量的网页，所以要优先考虑其下载。
高变化率意味着网页可能已经被更新或者删除。一些被服务器端软件生成的URLs(统一资源定位符)也使得网络爬虫很难避免检索到重复内容。
绛旓細缃戠粶鐖櫕(webcrawler绠绉扮埇铏)灏辨槸鎸夌収涓瀹氳鍒欎粠浜掕仈缃戜笂鎶撳彇淇℃伅鐨勭▼搴忋傜埇铏笌鐢ㄦ埛姝ｅ父璁块棶淇℃伅鐨勫尯鍒氨鍦ㄤ簬鐢ㄦ埛鏄紦鎱佸皯閲忕殑鑾峰彇淇℃伅锛岃鐖櫕鏄澶ч噺鐨勮幏鍙栦俊鎭傛悳绱㈠紩鎿庨氳繃杩欎簺鐖櫕浠庝竴涓綉绔欑埇鍒板彟涓涓綉绔欙紝璺熻釜缃戦〉涓殑閾炬帴锛岃闂洿澶氱殑缃戦〉锛岃繖涓繃绋嬬О涓虹埇琛岋紝杩欎簺鏂扮殑缃戝潃浼氳瀛樺叆鏁版嵁搴撶瓑寰呮悳绱...
绛旓細python鐖櫕鏄粈涔堟剰鎬锛熻鎴戜滑涓璧蜂簡瑙ｄ竴涓嬪惂锛丳ython鐖櫕灏辨槸浣跨敤 Python 绋嬪簭寮鍙戠殑缃戠粶鐖櫕锛堢綉椤佃湗铔涳紝缃戠粶鏈哄櫒浜猴級锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈備富瑕佺敤浜庢悳绱㈠紩鎿庯紝瀹冨皢涓涓綉绔欑殑鎵鏈夊唴瀹逛笌閾炬帴杩涜闃呰锛屽苟寤虹珛鐩稿叧鐨勫叏鏂囩储寮曞埌鏁版嵁搴撲腑锛岀劧鍚庤烦鍒板彟涓涓綉绔欍傛嫇灞曪細...
绛旓細缃戠珯鐖櫕锛屽張绉缃戠粶鐖櫕銆缃戠粶铚樿洓銆佺綉缁滄満鍣ㄤ汉绛夛紝鏄竴绉嶉氳繃鑷姩鍖栫▼搴忓浜掕仈缃戜笂鐨勭綉绔欒繘琛屾暟鎹姄鍙栫殑鎶鏈傝繖涓妧鏈捣婧愪簬鎼滅储寮曟搸锛屾棬鍦ㄥ府鍔╂绱㈠紩鎿庢敹闆嗙綉椤典俊鎭苟寤虹珛鎼滅储绱㈠紩銆備娇鐢ㄧ埇铏妧鏈彲浠ユ柟渚垮揩鎹峰湴鑾峰彇缃戠珯涓婄殑淇℃伅锛屽寘鎷枃鏈佸浘鐗囥佽棰戙侀煶棰戠瓑銆傝繖涓妧鏈湪澶ф暟鎹椂浠ｅ彈鍒颁簡骞挎硾鐨勫簲鐢紝鐗瑰埆鏄...
绛旓細鐖櫕閫氬父鏄寚缃戠粶鐖櫕锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯鍜岀瓥鐣ワ紝鑷姩鍦版姄鍙栦竾缁寸綉淇℃伅鐨勭▼搴忔垨鑰呰剼鏈傜埇铏氬父鏄寚缃戠粶鐖櫕锛圵eb Crawler锛夛紝鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯鍜岀瓥鐣ワ紝鑷姩鍦版姄鍙栦竾缁寸綉淇℃伅鐨勭▼搴忔垨鑰呰剼鏈傚畠浠湪缃戠粶涓埇琛岋紝鏍规嵁棰勮鐨勬潯浠跺拰瑙勫垯锛屼粠鍚勭璧勬簮锛堢綉椤点佹暟鎹簱绛夛級涓彁鍙栧嚭鎵闇鐨勬暟鎹紝鐒跺悗杩涜...
绛旓細缃戠粶鐖櫕(鍙堣绉颁负缃戦〉铚樿洓锛岀綉缁滄満鍣ㄤ汉)灏辨槸妯℃嫙娴忚鍣ㄥ彂閫佺綉缁滆姹傦紝鎺ユ敹璇锋眰鍝嶅簲锛屼竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇浜掕仈缃戜俊鎭殑绋嬪簭銆傚師鍒欎笂,鍙鏄祻瑙堝櫒(瀹㈡埛绔)鑳藉仛鐨勪簨鎯咃紝鐖櫕閮借兘澶熷仛銆備负浠涔鎴戜滑瑕佷娇鐢ㄧ埇铏紵浜掕仈缃戝ぇ鏁版嵁鏃朵唬锛岀粰浜堟垜浠殑鏄敓娲荤殑渚垮埄浠ュ強娴烽噺鏁版嵁鐖嗙偢寮忓湴鍑虹幇鍦ㄧ綉缁滀腑銆傝繃鍘伙紝...
绛旓細涓婃枃浠嬬粛浜唒ython鐖櫕鐨勪竴浜涘熀纭鐭ヨ瘑锛岀浉淇″ぇ瀹跺浜庘減ython鐖櫕鏄粈涔堟剰鎬鈥濅笌鈥滅埇铏庝箞鎶撳彇鏁版嵁鈥濇湁涓瀹氱殑鐨勮璇嗕簡銆傜幇鍦ㄥぇ鏁版嵁鏃朵唬锛屽緢澶氬python鐨勬椂鍊欓兘鏄互鐖櫕鍏ユ墜锛屽涔缃戠粶鐖櫕鐨勪汉瓒婃潵瓒婂銆傞氬父浣跨敤鐖櫕鎶撳彇鏁版嵁閮戒細閬囧埌IP闄愬埗闂锛屼娇鐢ㄩ珮鍖夸唬鐞嗭紝鍙互绐佺牬IP闄愬埗锛屽府鍔╃埇铏獊鐮寸綉绔欓檺鍒舵鏁般
绛旓細鐖櫕鎶鏈鏄暐鎰忔 閫氫織鏉ヨ锛岀埇铏氨鏄埄鐢ㄤ唬鐮佺紪鍐欑殑绋嬪簭鎴栬剼鏈紝甯姪浣犲浜掕仈缃戞捣閲忎俊鎭繘琛岃繃婊ゃ佺瓫閫夛紝鎵归噺鑷姩鎶撳彇缃戠珯涓綘鎯宠幏鍙栫殑淇℃伅锛屽苟瀵瑰叾杩涜鏁寸悊鎺掑簭銆缃戠粶鐖櫕鍙堣鎴愪负缃戠粶铚樿洓锛屽鏋滃皢浜掕仈缃戞瘮鍠绘垚涓涓湗铔涚綉锛岄偅涔堣繖涓▼搴忔垨鑴氭湰锛屽氨鏄湪缃戜笂鐖潵鐖幓鐨勮湗铔涖傚綊缁撲负涓鍙ヨ瘽灏辨槸杩涜浜掕仈缃戜俊鎭...
绛旓細1銆佺埇鍙栨暟鎹殑鎰忔灏辨槸閫氳繃绋嬪簭鏉ヨ幏鍙栭渶瑕佺殑缃戠珯涓婄殑鍐呭淇℃伅锛屾瘮濡傛枃瀛椼佽棰戙佸浘鐗囩瓑鏁版嵁銆2銆缃戠粶鐖櫕锛堝張绉颁负缃戦〉铚樿洓锛岀綉缁滄満鍣ㄤ汉锛屽湪FOAF绀惧尯涓棿锛屾洿缁忓父鐨勭О涓虹綉椤佃拷閫愯咃級锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰...
绛旓細鐖櫕python浠涔堟剰鎬锛熺埇铏紝鍙堣绉颁负缃戠粶鐖櫕锛屼富瑕佹寚浠ｄ粠浜掕仈缃戜笂杩涜鏁版嵁閲囬泦鐨勮剼鏈悗鑰呯▼搴忥紝鏄繘琛屾暟鎹 鍒嗘瀽鍜屾暟鎹寲鎺樼殑鍩虹銆傛墍璋撶埇铏氨鏄寚鍦ㄧ粰瀹歶rl(缃戝潃)涓幏鍙栨垜浠鎴戜滑鏈夌敤鐨勬暟鎹俊鎭紝閫氳繃浠ｇ爜瀹炵幇鏁版嵁鐨勫ぇ閲忚幏鍙栵紝鍦ㄧ粡杩囧悗鏈熺殑鏁版嵁鏁寸悊銆佽绠楃瓑寰楀嚭鐩稿叧瑙勫緥锛屼互鍙婅涓氳秼鍔跨瓑淇℃伅銆侾ython 鐖櫕鏋舵瀯...
绛旓細鐖櫕鏄涓绉嶈嚜鍔ㄥ寲绋嬪簭锛屽畠閫氳繃妯℃嫙娴忚鍣ㄨ涓烘潵璁块棶缃戠珯骞舵姄鍙栫浉鍏充俊鎭傞氳繃鍒嗘瀽椤甸潰浠ｇ爜銆佽В鏋愭暟鎹佺瓫閫変俊鎭瓑鏂瑰紡锛岀埇铏兘澶熷揩閫熻幏鍙栧ぇ閲忔暟鎹傜埇铏彲浠ョ敤浜庢湁鐩婄殑鐩殑锛屽鐮旂┒鍒嗘瀽銆佸晢涓氳皟鏌ャ佷俊鎭噰闆嗙瓑锛屼篃鍙互琚敤浜庝笉鑹敤閫斿鎭舵剰鏀诲嚮鍙婇殣绉佷镜鐘瓑銆傜埇铏殑宸ヤ綔鍘熺悊鏄ā鎷熸祻瑙堝櫒锛屽皾璇曚互鏈澶х▼搴﹁嚜鍔ㄥ寲...
