如何用Python做爬虫？ 如何用python写出爬虫？
\u5982\u4f55\u5229\u7528python\u5199\u722c\u866b\u7a0b\u5e8f\uff1f\u5229\u7528python\u5199\u722c\u866b\u7a0b\u5e8f\u7684\u65b9\u6cd5\uff1a
1\u3001\u5148\u5206\u6790\u7f51\u7ad9\u5185\u5bb9\uff0c\u7ea2\u8272\u90e8\u5206\u5373\u662f\u7f51\u7ad9\u6587\u7ae0\u5185\u5bb9div\u3002
2\u3001\u968f\u4fbf\u6253\u5f00\u4e00\u4e2adiv\u6765\u770b\uff0c\u53ef\u4ee5\u770b\u5230\uff0c\u84dd\u8272\u90e8\u5206\u9664\u4e86\u4e00\u4e2a\u6587\u7ae0\u6807\u9898\u4ee5\u5916\u6ca1\u6709\u4ec0\u4e48\u6709\u7528\u7684\u4fe1\u606f\uff0c\u800c\u6ce8\u610f\u7ea2\u8272\u90e8\u5206\u6211\u52fe\u753b\u51fa\u7684\u5730\u65b9\uff0c\u53ef\u4ee5\u77e5\u9053\uff0c\u5b83\u662f\u6307\u5411\u6587\u7ae0\u7684\u5730\u5740\u7684\u8d85\u94fe\u63a5\uff0c\u90a3\u4e48\u722c\u866b\u53ea\u8981\u6355\u6349\u5230\u8fd9\u4e2a\u5730\u5740\u5c31\u53ef\u4ee5\u4e86\u3002
3\u3001\u63a5\u4e0b\u6765\u5728\u4e00\u4e2a\u95ee\u9898\u5c31\u662f\u7ffb\u9875\u95ee\u9898\uff0c\u53ef\u4ee5\u770b\u5230\uff0c\u8fd9\u548c\u5927\u591a\u6570\u7f51\u7ad9\u4e0d\u540c\uff0c\u5e95\u90e8\u6ca1\u6709\u9875\u6570\u6807\u7b7e\uff0c\u800c\u662f\u67e5\u770b\u66f4\u591a\u3002
4\u3001\u4e0d\u8fc7\u5728\u67e5\u770b\u6e90\u6587\u4ef6\u65f6\u6709\u4e00\u4e2a\u8d85\u94fe\u63a5\uff0c\u7ecf\u6d4b\u8bd5\u5b83\u6307\u5411\u4e0b\u4e00\u9875\uff0c\u90a3\u4e48\u901a\u8fc7\u6539\u53d8\u5176\u6700\u540e\u7684\u6570\u503c\uff0c\u5c31\u53ef\u4ee5\u5b9a\u4f4d\u5230\u76f8\u5e94\u7684\u9875\u6570\u4e0a\u3002
\u4ee3\u7801\u5982\u4e0b\uff1a
\u5148\u68c0\u67e5\u662f\u5426\u6709API
API\u662f\u7f51\u7ad9\u5b98\u65b9\u63d0\u4f9b\u7684\u6570\u636e\u63a5\u53e3\uff0c\u5982\u679c\u901a\u8fc7\u8c03\u7528API\u91c7\u96c6\u6570\u636e\uff0c\u5219\u76f8\u5f53\u4e8e\u5728\u7f51\u7ad9\u5141\u8bb8\u7684\u8303\u56f4\u5185\u91c7\u96c6\uff0c\u8fd9\u6837\u65e2\u4e0d\u4f1a\u6709\u9053\u5fb7\u6cd5\u5f8b\u98ce\u9669\uff0c\u4e5f\u6ca1\u6709\u7f51\u7ad9\u6545\u610f\u8bbe\u7f6e\u7684\u969c\u788d\uff1b\u4e0d\u8fc7\u8c03\u7528API\u63a5\u53e3\u7684\u8bbf\u95ee\u5219\u5904\u4e8e\u7f51\u7ad9\u7684\u63a7\u5236\u4e2d\uff0c\u7f51\u7ad9\u53ef\u4ee5\u7528\u6765\u6536\u8d39\uff0c\u53ef\u4ee5\u7528\u6765\u9650\u5236\u8bbf\u95ee\u4e0a\u9650\u7b49\u3002\u6574\u4f53\u6765\u770b\uff0c\u5982\u679c\u6570\u636e\u91c7\u96c6\u7684\u9700\u6c42\u5e76\u4e0d\u662f\u5f88\u72ec\u7279\uff0c\u90a3\u4e48\u6709API\u5219\u5e94\u4f18\u5148\u91c7\u7528\u8c03\u7528API\u7684\u65b9\u5f0f\u3002
\u6570\u636e\u7ed3\u6784\u5206\u6790\u548c\u6570\u636e\u5b58\u50a8
\u722c\u866b\u9700\u6c42\u8981\u5341\u5206\u6e05\u6670\uff0c\u5177\u4f53\u8868\u73b0\u4e3a\u9700\u8981\u54ea\u4e9b\u5b57\u6bb5\uff0c\u8fd9\u4e9b\u5b57\u6bb5\u53ef\u4ee5\u662f\u7f51\u9875\u4e0a\u73b0\u6709\u7684\uff0c\u4e5f\u53ef\u4ee5\u662f\u6839\u636e\u7f51\u9875\u4e0a\u73b0\u6709\u7684\u5b57\u6bb5\u8fdb\u4e00\u6b65\u8ba1\u7b97\u7684\uff0c\u8fd9\u4e9b\u5b57\u6bb5\u5982\u4f55\u6784\u5efa\u8868\uff0c\u591a\u5f20\u8868\u5982\u4f55\u8fde\u63a5\u7b49\u3002\u503c\u5f97\u4e00\u63d0\u7684\u662f\uff0c\u786e\u5b9a\u5b57\u6bb5\u73af\u8282\uff0c\u4e0d\u8981\u53ea\u770b\u5c11\u91cf\u7684\u7f51\u9875\uff0c\u56e0\u4e3a\u5355\u4e2a\u7f51\u9875\u53ef\u4ee5\u7f3a\u5c11\u522b\u7684\u540c\u7c7b\u7f51\u9875\u7684\u5b57\u6bb5\uff0c\u8fd9\u65e2\u6709\u53ef\u80fd\u662f\u7531\u4e8e\u7f51\u7ad9\u7684\u95ee\u9898\uff0c\u4e5f\u53ef\u80fd\u662f\u7528\u6237\u884c\u4e3a\u7684\u5dee\u5f02\uff0c\u53ea\u6709\u591a\u89c2\u5bdf\u4e00\u4e9b\u7f51\u9875\u624d\u80fd\u7efc\u5408\u62bd\u8c61\u51fa\u5177\u6709\u666e\u9002\u6027\u7684\u5173\u952e\u5b57\u6bb5\u2014\u2014\u8fd9\u5e76\u4e0d\u662f\u51e0\u5206\u949f\u770b\u51e0\u4e2a\u7f51\u9875\u5c31\u53ef\u4ee5\u51b3\u5b9a\u7684\u7b80\u5355\u4e8b\u60c5\uff0c\u5982\u679c\u9047\u4e0a\u4e86\u90a3\u79cd\u81c3\u80bf\u3001\u6df7\u4e71\u7684\u7f51\u7ad9\uff0c\u53ef\u80fd\u5751\u975e\u5e38\u591a\u3002
\u5bf9\u4e8e\u5927\u89c4\u6a21\u722c\u866b\uff0c\u9664\u4e86\u672c\u8eab\u8981\u91c7\u96c6\u7684\u6570\u636e\u5916\uff0c\u5176\u4ed6\u91cd\u8981\u7684\u4e2d\u95f4\u6570\u636e\uff08\u6bd4\u5982\u9875\u9762Id\u6216\u8005url\uff09\u4e5f\u5efa\u8bae\u5b58\u50a8\u4e0b\u6765\uff0c\u8fd9\u6837\u53ef\u4ee5\u4e0d\u5fc5\u6bcf\u6b21\u91cd\u65b0\u722c\u53d6id\u3002
\u6570\u636e\u5e93\u5e76\u6ca1\u6709\u56fa\u5b9a\u7684\u9009\u62e9\uff0c\u672c\u8d28\u4ecd\u662f\u5c06Python\u91cc\u7684\u6570\u636e\u5199\u5230\u5e93\u91cc\uff0c\u53ef\u4ee5\u9009\u62e9\u5173\u7cfb\u578b\u6570\u636e\u5e93MySQL\u7b49\uff0c\u4e5f\u53ef\u4ee5\u9009\u62e9\u975e\u5173\u7cfb\u578b\u6570\u636e\u5e93MongoDB\u7b49\uff1b\u5bf9\u4e8e\u666e\u901a\u7684\u7ed3\u6784\u5316\u6570\u636e\u4e00\u822c\u5b58\u5728\u5173\u7cfb\u578b\u6570\u636e\u5e93\u5373\u53ef\u3002sqlalchemy\u662f\u4e00\u4e2a\u6210\u719f\u597d\u7528\u7684\u6570\u636e\u5e93\u8fde\u63a5\u6846\u67b6\uff0c\u5176\u5f15\u64ce\u53ef\u4e0ePandas\u914d\u5957\u4f7f\u7528\uff0c\u628a\u6570\u636e\u5904\u7406\u548c\u6570\u636e\u5b58\u50a8\u8fde\u63a5\u8d77\u6765\uff0c\u4e00\u6c14\u5475\u6210\u3002
\u6570\u636e\u6d41\u5206\u6790
\u5bf9\u4e8e\u8981\u6279\u91cf\u722c\u53d6\u7684\u7f51\u9875\uff0c\u5f80\u4e0a\u4e00\u5c42\uff0c\u770b\u5b83\u7684\u5165\u53e3\u5728\u54ea\u91cc\uff1b\u8fd9\u4e2a\u662f\u6839\u636e\u91c7\u96c6\u8303\u56f4\u6765\u786e\u5b9a\u5165\u53e3\uff0c\u6bd4\u5982\u82e5\u53ea\u60f3\u722c\u4e00\u4e2a\u5730\u533a\u7684\u6570\u636e\uff0c\u90a3\u4ece\u8be5\u5730\u533a\u7684\u4e3b\u9875\u5207\u5165\u5373\u53ef\uff1b\u4f46\u82e5\u60f3\u722c\u5168\u56fd\u6570\u636e\uff0c\u5219\u5e94\u66f4\u5f80\u4e0a\u4e00\u5c42\uff0c\u4ece\u5168\u56fd\u7684\u5165\u53e3\u5207\u5165\u3002\u4e00\u822c\u7684\u7f51\u7ad9\u7f51\u9875\u90fd\u4ee5\u6811\u72b6\u7ed3\u6784\u4e3a\u4e3b\uff0c\u627e\u5230\u5207\u5165\u70b9\u4f5c\u4e3a\u6839\u8282\u70b9\u4e00\u5c42\u5c42\u5f80\u91cc\u8fdb\u5165\u5373\u53ef\u3002
\u503c\u5f97\u6ce8\u610f\u7684\u4e00\u70b9\u662f\uff0c\u4e00\u822c\u7f51\u7ad9\u90fd\u4e0d\u4f1a\u76f4\u63a5\u628a\u5168\u91cf\u7684\u6570\u636e\u505a\u6210\u5217\u8868\u7ed9\u4f60\u4e00\u9875\u9875\u5f80\u4e0b\u7ffb\u76f4\u5230\u904d\u5386\u5b8c\u6570\u636e\uff0c\u6bd4\u5982\u94fe\u5bb6\u4e0a\u9762\u5f88\u6e05\u695a\u5730\u5199\u7740\u670924587\u5957\u4e8c\u624b\u623f\uff0c\u4f46\u662f\u5b83\u53ea\u7ed9100\u9875\uff0c\u6bcf\u987530\u4e2a\uff0c\u5982\u679c\u76f4\u63a5\u8fd9\u4e48\u5207\u5165\u53ea\u80fd\u8bbf\u95ee3000\u4e2a\uff0c\u8fdc\u8fdc\u4f4e\u4e8e\u771f\u5b9e\u6570\u636e\u91cf\uff1b\u56e0\u6b64\u5148\u5207\u7247\uff0c\u518d\u6574\u5408\u7684\u6570\u636e\u601d\u7ef4\u53ef\u4ee5\u83b7\u5f97\u66f4\u5927\u7684\u6570\u636e\u91cf\u3002\u663e\u7136100\u9875\u662f\u7cfb\u7edf\u8bbe\u5b9a\uff0c\u53ea\u8981\u8d85\u8fc7300\u4e2a\u5c31\u53ea\u663e\u793a100\u9875\uff0c\u56e0\u6b64\u53ef\u4ee5\u901a\u8fc7\u5176\u4ed6\u7684\u7b5b\u9009\u6761\u4ef6\u4e0d\u65ad\u7ec6\u5206\uff0c\u53ea\u5230\u7b5b\u9009\u7ed3\u679c\u5c0f\u4e8e\u7b49\u4e8e300\u9875\u5c31\u8868\u793a\u8be5\u6761\u4ef6\u4e0b\u6ca1\u6709\u7f3a\u6f0f\uff1b\u6700\u540e\u628a\u5404\u79cd\u6761\u4ef6\u4e0b\u7684\u7b5b\u9009\u7ed3\u679c\u96c6\u5408\u5728\u4e00\u8d77\uff0c\u5c31\u80fd\u591f\u5c3d\u53ef\u80fd\u5730\u8fd8\u539f\u771f\u5b9e\u6570\u636e\u91cf\u3002
\u660e\u786e\u4e86\u5927\u89c4\u6a21\u722c\u866b\u7684\u6570\u636e\u6d41\u52a8\u673a\u5236\uff0c\u4e0b\u4e00\u6b65\u5c31\u662f\u9488\u5bf9\u5355\u4e2a\u7f51\u9875\u8fdb\u884c\u89e3\u6790\uff0c\u7136\u540e\u628a\u8fd9\u4e2a\u6a21\u5f0f\u590d\u5236\u5230\u6574\u4f53\u3002\u5bf9\u4e8e\u5355\u4e2a\u7f51\u9875\uff0c\u91c7\u7528\u6293\u5305\u5de5\u5177\u53ef\u4ee5\u67e5\u770b\u5b83\u7684\u8bf7\u6c42\u65b9\u5f0f\uff0c\u662fget\u8fd8\u662fpost\uff0c\u6709\u6ca1\u6709\u63d0\u4ea4\u8868\u5355\uff0c\u6b32\u91c7\u96c6\u7684\u6570\u636e\u662f\u5199\u5165\u6e90\u4ee3\u7801\u91cc\u8fd8\u662f\u901a\u8fc7AJAX\u8c03\u7528JSON\u6570\u636e\u3002
\u540c\u6837\u7684\u9053\u7406\uff0c\u4e0d\u80fd\u53ea\u770b\u4e00\u4e2a\u9875\u9762\uff0c\u8981\u89c2\u5bdf\u591a\u4e2a\u9875\u9762\uff0c\u56e0\u4e3a\u6279\u91cf\u722c\u866b\u8981\u5f04\u6e05\u8fd9\u4e9b\u5927\u91cf\u9875\u9762url\u4ee5\u53ca\u53c2\u6570\u7684\u89c4\u5f8b\uff0c\u4ee5\u4fbf\u53ef\u4ee5\u81ea\u52a8\u6784\u9020\uff1b\u6709\u7684\u7f51\u7ad9\u7684url\u4ee5\u53ca\u5173\u952e\u53c2\u6570\u662f\u52a0\u5bc6\u7684\uff0c\u8fd9\u6837\u5c31\u60b2\u5267\u4e86\uff0c\u4e0d\u80fd\u9760\u7740\u660e\u663e\u7684\u903b\u8f91\u76f4\u63a5\u6784\u9020\uff0c\u8fd9\u79cd\u60c5\u51b5\u4e0b\u8981\u6279\u91cf\u722c\u866b\uff0c\u8981\u4e48\u627e\u5230\u5b83\u52a0\u5bc6\u7684js\u4ee3\u7801\uff0c\u5728\u722c\u866b\u4ee3\u7801\u4e0a\u52a0\u5165\u4ece\u660e\u6587\u5230\u5bc6\u7801\u7684\u52a0\u5bc6\u8fc7\u7a0b\uff1b\u8981\u4e48\u91c7\u7528\u4e0b\u6587\u6240\u8ff0\u7684\u6a21\u62df\u6d4f\u89c8\u5668\u7684\u65b9\u5f0f\u3002
\u6570\u636e\u91c7\u96c6
\u4e4b\u524d\u7528R\u505a\u722c\u866b\uff0c\u4e0d\u8981\u7b11\uff0cR\u7684\u786e\u53ef\u4ee5\u505a\u722c\u866b\u5de5\u4f5c\uff1b\u4f46\u5728\u722c\u866b\u65b9\u9762\uff0cPython\u663e\u7136\u4f18\u52bf\u66f4\u660e\u663e\uff0c\u53d7\u4f17\u66f4\u5e7f\uff0c\u8fd9\u5f97\u76ca\u4e8e\u5176\u6210\u719f\u7684\u722c\u866b\u6846\u67b6\uff0c\u4ee5\u53ca\u5176\u4ed6\u7684\u5728\u8ba1\u7b97\u673a\u7cfb\u7edf\u4e0a\u66f4\u597d\u7684\u6027\u80fd\u3002scrapy\u662f\u4e00\u4e2a\u6210\u719f\u7684\u722c\u866b\u6846\u67b6\uff0c\u76f4\u63a5\u5f80\u91cc\u5957\u7528\u5c31\u597d\uff0c\u6bd4\u8f83\u9002\u5408\u65b0\u624b\u5b66\u4e60\uff1brequests\u662f\u4e00\u4e2a\u6bd4\u539f\u751f\u7684urllib\u5305\u66f4\u7b80\u6d01\u5f3a\u5927\u7684\u5305\uff0c\u9002\u5408\u4f5c\u5b9a\u5236\u5316\u7684\u722c\u866b\u529f\u80fd\u3002requests\u4e3b\u8981\u63d0\u4f9b\u4e00\u4e2a\u57fa\u672c\u8bbf\u95ee\u529f\u80fd\uff0c\u628a\u7f51\u9875\u7684\u6e90\u4ee3\u7801\u7ed9download\u4e0b\u6765\u3002\u4e00\u822c\u800c\u8a00\uff0c\u53ea\u8981\u52a0\u4e0a\u8ddf\u6d4f\u89c8\u5668\u540c\u6837\u7684Requests Headers\u53c2\u6570\uff0c\u5c31\u53ef\u4ee5\u6b63\u5e38\u8bbf\u95ee\uff0cstatus_code\u4e3a200\uff0c\u5e76\u6210\u529f\u5f97\u5230\u7f51\u9875\u6e90\u4ee3\u7801\uff1b\u4f46\u662f\u4e5f\u6709\u67d0\u4e9b\u53cd\u722c\u866b\u8f83\u4e3a\u4e25\u683c\u7684\u7f51\u7ad9\uff0c\u8fd9\u4e48\u76f4\u63a5\u8bbf\u95ee\u4f1a\u88ab\u7981\u6b62\uff1b\u6216\u8005\u8bf4status\u4e3a200\u4e5f\u4e0d\u4f1a\u8fd4\u56de\u6b63\u5e38\u7684\u7f51\u9875\u6e90\u7801\uff0c\u800c\u662f\u8981\u6c42\u5199\u9a8c\u8bc1\u7801\u7684js\u811a\u672c\u7b49\u3002
\u4e0b\u8f7d\u5230\u4e86\u6e90\u7801\u4e4b\u540e\uff0c\u5982\u679c\u6570\u636e\u5c31\u5728\u6e90\u7801\u4e2d\uff0c\u8fd9\u79cd\u60c5\u51b5\u662f\u6700\u7b80\u5355\u7684\uff0c\u8fd9\u5c31\u8868\u793a\u5df2\u7ecf\u6210\u529f\u83b7\u53d6\u5230\u4e86\u6570\u636e\uff0c\u5269\u4e0b\u7684\u65e0\u975e\u5c31\u662f\u6570\u636e\u63d0\u53d6\u3001\u6e05\u6d17\u3001\u5165\u5e93\u3002\u4f46\u82e5\u7f51\u9875\u4e0a\u6709\uff0c\u7136\u800c\u6e90\u4ee3\u7801\u91cc\u6ca1\u6709\u7684\uff0c\u5c31\u8868\u793a\u6570\u636e\u5199\u5728\u5176\u4ed6\u5730\u65b9\uff0c\u4e00\u822c\u800c\u8a00\u662f\u901a\u8fc7AJAX\u5f02\u6b65\u52a0\u8f7dJSON\u6570\u636e\uff0c\u4eceXHR\u4e2d\u627e\u5373\u53ef\u627e\u5230\uff1b\u5982\u679c\u8fd9\u6837\u8fd8\u627e\u4e0d\u5230\uff0c\u90a3\u5c31\u9700\u8981\u53bb\u89e3\u6790js\u811a\u672c\u4e86\u3002
\u89e3\u6790\u5de5\u5177
\u6e90\u7801\u4e0b\u8f7d\u540e\uff0c\u5c31\u662f\u89e3\u6790\u6570\u636e\u4e86\uff0c\u5e38\u7528\u7684\u6709\u4e24\u79cd\u65b9\u6cd5\uff0c\u4e00\u79cd\u662f\u7528BeautifulSoup\u5bf9\u6811\u72b6HTML\u8fdb\u884c\u89e3\u6790\uff0c\u53e6\u4e00\u79cd\u662f\u901a\u8fc7\u6b63\u5219\u8868\u8fbe\u5f0f\u4ece\u6587\u672c\u4e2d\u62bd\u53d6\u6570\u636e\u3002
BeautifulSoup\u6bd4\u8f83\u7b80\u5355\uff0c\u652f\u6301Xpath\u548cCSSSelector\u4e24\u79cd\u9014\u5f84\uff0c\u800c\u4e14\u50cfChrome\u8fd9\u7c7b\u6d4f\u89c8\u5668\u4e00\u822c\u90fd\u5df2\u7ecf\u628a\u5404\u4e2a\u7ed3\u70b9\u7684Xpath\u6216\u8005CSSSelector\u6807\u8bb0\u597d\u4e86\uff0c\u76f4\u63a5\u590d\u5236\u5373\u53ef\u3002\u4ee5CSSSelector\u4e3a\u4f8b\uff0c\u53ef\u4ee5\u9009\u62e9tag\u3001id\u3001class\u7b49\u591a\u79cd\u65b9\u5f0f\u8fdb\u884c\u5b9a\u4f4d\u9009\u62e9\uff0c\u5982\u679c\u6709id\u5efa\u8bae\u9009id\uff0c\u56e0\u4e3a\u6839\u636eHTML\u8bed\u6cd5\uff0c\u4e00\u4e2aid\u53ea\u80fd\u7ed1\u5b9a\u4e00\u4e2a\u6807\u7b7e\u3002
\u6b63\u5219\u8868\u8fbe\u5f0f\u5f88\u5f3a\u5927\uff0c\u4f46\u6784\u9020\u8d77\u6765\u6709\u70b9\u590d\u6742\uff0c\u9700\u8981\u4e13\u95e8\u53bb\u5b66\u4e60\u3002\u56e0\u4e3a\u4e0b\u8f7d\u4e0b\u6765\u7684\u6e90\u7801\u683c\u5f0f\u5c31\u662f\u5b57\u7b26\u4e32\uff0c\u6240\u4ee5\u6b63\u5219\u8868\u8fbe\u5f0f\u53ef\u4ee5\u5927\u663e\u8eab\u624b\uff0c\u800c\u4e14\u5904\u7406\u901f\u5ea6\u5f88\u5feb\u3002
\u5bf9\u4e8eHTML\u7ed3\u6784\u56fa\u5b9a\uff0c\u5373\u540c\u6837\u7684\u5b57\u6bb5\u5904tag\u3001id\u548cclass\u540d\u79f0\u90fd\u76f8\u540c\uff0c\u91c7\u7528BeautifulSoup\u89e3\u6790\u662f\u4e00\u79cd\u7b80\u5355\u9ad8\u6548\u7684\u65b9\u6848\uff0c\u4f46\u6709\u7684\u7f51\u7ad9\u6df7\u4e71\uff0c\u540c\u6837\u7684\u6570\u636e\u5728\u4e0d\u540c\u9875\u9762\u95f4HTML\u7ed3\u6784\u4e0d\u540c\uff0c\u8fd9\u79cd\u60c5\u51b5\u4e0bBeautifulSoup\u5c31\u4e0d\u592a\u597d\u4f7f\uff1b\u5982\u679c\u6570\u636e\u672c\u8eab\u683c\u5f0f\u56fa\u5b9a\uff0c\u5219\u7528\u6b63\u5219\u8868\u8fbe\u5f0f\u66f4\u65b9\u4fbf\u3002\u6bd4\u5982\u4ee5\u4e0b\u7684\u4f8b\u5b50\uff0c\u8fd9\u4e24\u4e2a\u90fd\u662f\u6df1\u5733\u5730\u533a\u67d0\u4e2a\u5730\u65b9\u7684\u7ecf\u5ea6\uff0c\u4f46\u4e00\u4e2a\u9875\u9762\u7684class\u662flong\uff0c\u4e00\u4e2a\u9875\u9762\u7684class\u662flongitude\uff0c\u6839\u636eclass\u6765\u9009\u62e9\u5c31\u6ca1\u529e\u6cd5\u540c\u65f6\u6ee1\u8db32\u4e2a\uff0c\u4f46\u53ea\u8981\u6ce8\u610f\u5230\u6df1\u5733\u5730\u533a\u7684\u7ecf\u5ea6\u90fd\u662f\u4ecb\u4e8e113\u5230114\u4e4b\u95f4\u7684\u6d6e\u70b9\u6570\uff0c\u5c31\u53ef\u4ee5\u901a\u8fc7\u6b63\u5219\u8868\u8fbe\u5f0f"11[3-4].\d+"\u6765\u4f7f\u4e24\u4e2a\u90fd\u6ee1\u8db3\u3002
\u6570\u636e\u6574\u7406
\u4e00\u822c\u800c\u8a00\uff0c\u722c\u4e0b\u6765\u7684\u539f\u59cb\u6570\u636e\u90fd\u4e0d\u662f\u6e05\u6d01\u7684\uff0c\u6240\u4ee5\u5728\u5165\u5e93\u524d\u8981\u5148\u6574\u7406\uff1b\u7531\u4e8e\u5927\u90e8\u5206\u90fd\u662f\u5b57\u7b26\u4e32\uff0c\u6240\u4ee5\u4e3b\u8981\u4e5f\u5c31\u662f\u5b57\u7b26\u4e32\u7684\u5904\u7406\u65b9\u5f0f\u4e86\u3002
\u5b57\u7b26\u4e32\u81ea\u5e26\u7684\u65b9\u6cd5\u53ef\u4ee5\u6ee1\u8db3\u5927\u90e8\u5206\u7b80\u5355\u7684\u5904\u7406\u9700\u6c42\uff0c\u6bd4\u5982strip\u53ef\u4ee5\u53bb\u6389\u9996\u5c3e\u4e0d\u9700\u8981\u7684\u5b57\u7b26\u6216\u8005\u6362\u884c\u7b26\u7b49\uff0creplace\u53ef\u4ee5\u5c06\u6307\u5b9a\u90e8\u5206\u66ff\u6362\u6210\u9700\u8981\u7684\u90e8\u5206\uff0csplit\u53ef\u4ee5\u5728\u6307\u5b9a\u90e8\u5206\u5206\u5272\u7136\u540e\u622a\u53d6\u4e00\u90e8\u5206\u3002
\u5982\u679c\u5b57\u7b26\u4e32\u5904\u7406\u7684\u9700\u6c42\u592a\u590d\u6742\u4ee5\u81f4\u5e38\u89c4\u7684\u5b57\u7b26\u4e32\u5904\u7406\u65b9\u6cd5\u4e0d\u597d\u89e3\u51b3\uff0c\u90a3\u5c31\u8981\u8bf7\u51fa\u6b63\u5219\u8868\u8fbe\u5f0f\u8fd9\u4e2a\u5927\u6740\u5668\u3002
Pandas\u662fPython\u4e2d\u5e38\u7528\u7684\u6570\u636e\u5904\u7406\u6a21\u5757\uff0c\u867d\u7136\u4f5c\u4e3a\u4e00\u4e2a\u4eceR\u8f6c\u8fc7\u6765\u7684\u4eba\u4e00\u76f4\u89c9\u5f97\u8fd9\u4e2a\u6a21\u4effR\u7684\u5305\u5b9e\u5728\u662f\u592a\u96be\u7528\u4e86\u3002Pandas\u4e0d\u4ec5\u53ef\u4ee5\u8fdb\u884c\u5411\u91cf\u5316\u5904\u7406\u3001\u7b5b\u9009\u3001\u5206\u7ec4\u3001\u8ba1\u7b97\uff0c\u8fd8\u80fd\u591f\u6574\u5408\u6210DataFrame\uff0c\u5c06\u91c7\u96c6\u7684\u6570\u636e\u6574\u5408\u6210\u4e00\u5f20\u8868\uff0c\u5448\u73b0\u6700\u7ec8\u7684\u5b58\u50a8\u6548\u679c\u3002
\u5199\u5165\u6570\u636e\u5e93
\u5982\u679c\u53ea\u662f\u4e2d\u5c0f\u89c4\u6a21\u7684\u722c\u866b\uff0c\u53ef\u4ee5\u628a\u6700\u540e\u7684\u722c\u866b\u7ed3\u679c\u6c47\u5408\u6210\u4e00\u5f20\u8868\uff0c\u6700\u540e\u5bfc\u51fa\u6210\u4e00\u5f20\u8868\u683c\u4ee5\u4fbf\u540e\u7eed\u4f7f\u7528\uff1b\u4f46\u5bf9\u4e8e\u8868\u6570\u91cf\u591a\u3001\u5355\u5f20\u8868\u5bb9\u91cf\u5927\u7684\u5927\u89c4\u6a21\u722c\u866b\uff0c\u518d\u5bfc\u51fa\u6210\u4e00\u5806\u96f6\u6563\u7684\u8868\u5c31\u4e0d\u5408\u9002\u4e86\uff0c\u80af\u5b9a\u8fd8\u662f\u8981\u653e\u5728\u6570\u636e\u5e93\u4e2d\uff0c\u65e2\u65b9\u4fbf\u5b58\u50a8\uff0c\u4e5f\u65b9\u4fbf\u8fdb\u4e00\u6b65\u6574\u7406\u3002
\u5199\u5165\u6570\u636e\u5e93\u6709\u4e24\u79cd\u65b9\u6cd5\uff0c\u4e00\u79cd\u662f\u901a\u8fc7Pandas\u7684DataFrame\u81ea\u5e26\u7684to_sql\u65b9\u6cd5\uff0c\u597d\u5904\u662f\u81ea\u52a8\u5efa\u8868\uff0c\u5bf9\u4e8e\u5bf9\u8868\u7ed3\u6784\u6ca1\u6709\u4e25\u683c\u8981\u6c42\u7684\u60c5\u51b5\u4e0b\u53ef\u4ee5\u91c7\u7528\u8fd9\u79cd\u65b9\u5f0f\uff0c\u4e0d\u8fc7\u503c\u5f97\u4e00\u63d0\u7684\u662f\uff0c\u5982\u679c\u662f\u591a\u884c\u7684DataFrame\u53ef\u4ee5\u76f4\u63a5\u63d2\u5165\u4e0d\u52a0\u7d22\u5f15\uff0c\u4f46\u82e5\u53ea\u6709\u4e00\u884c\u5c31\u8981\u52a0\u7d22\u5f15\u5426\u5219\u62a5\u9519\uff0c\u867d\u7136\u8fd9\u4e2a\u8ba4\u4e3a\u4e0d\u592a\u5408\u7406\uff1b\u53e6\u4e00\u79cd\u662f\u5229\u7528\u6570\u636e\u5e93\u5f15\u64ce\u6765\u6267\u884cSQL\u8bed\u53e5\uff0c\u8fd9\u79cd\u60c5\u51b5\u4e0b\u8981\u5148\u81ea\u5df1\u5efa\u8868\uff0c\u867d\u7136\u591a\u4e86\u4e00\u6b65\uff0c\u4f46\u662f\u8868\u7ed3\u6784\u5b8c\u5168\u662f\u81ea\u5df1\u63a7\u5236\u4e4b\u4e0b\u3002Pandas\u4e0eSQL\u90fd\u53ef\u4ee5\u7528\u6765\u5efa\u8868\u3001\u6574\u7406\u6570\u636e\uff0c\u7ed3\u5408\u8d77\u6765\u4f7f\u7528\u6548\u7387\u66f4\u9ad8\u3002
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。
我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧其实你很厉害的，右键查看页面源代码。
我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。
Python作为一种解释型的胶水语言，上手简单、入门容易，标准库齐全，还有丰富的各种开源库，语言本身提供了很多提高开发效率的语法糖，开发效率高，总之“人生苦短，快用Python”(Life is short, you need Python!)。在Web网站开发，科学计算，数据挖掘/分析，人工智能等很多领域广泛使用。
开发环境配置，Python3.5.2，Scrapy1.2.1，使用pip安装scrapy，命令：pip3 install Scrapy，此命令在Mac下会自动安装Scrapy的依赖包，安装过程中如果出现网络超时，多试几次。
绛旓細浣跨敤Python缂栧啓缃戠粶鐖櫕绋嬪簭鐨勪竴鑸楠ゅ涓嬶細1. 瀵煎叆鎵闇鐨勫簱锛氫娇鐢╥mport璇彞瀵煎叆鎵闇鐨勫簱锛屽BeautifulSoup銆丼crapy鍜孯equests绛夈2. 鍙戦丠TTP璇锋眰锛氫娇鐢≧equests搴撳彂閫丠TTP璇锋眰锛岃幏鍙栫綉椤电殑HTML婧愪唬鐮併3. 瑙ｆ瀽HTML婧愪唬鐮侊細浣跨敤BeautifulSoup搴撹В鏋怘TML婧愪唬鐮侊紝鎻愬彇鎵闇鐨勬暟鎹4. 鏁版嵁澶勭悊鍜屽瓨鍌細瀵规彁鍙栫殑...
绛旓細濡傛灉鎮ㄦ兂鍏ラ棬Python鐖櫕锛鍙互鎸夌収浠ヤ笅姝ラ杩涜锛1. 瀛︿範Python鍩虹鐭ヨ瘑锛氫簡瑙ython鐨勮娉曘佹暟鎹被鍨嬨佹祦绋嬫帶鍒剁瓑鍩烘湰姒傚康銆傚彲浠ラ氳繃鍦ㄧ嚎鏁欑▼銆佽棰戞暀绋嬫垨鍙傝冧功绫嶆潵瀛︿範銆2. 瀛︿範缃戠粶鐖櫕鍩虹鐭ヨ瘑锛氫簡瑙ｄ粈涔堟槸缃戠粶鐖櫕锛屼互鍙婄埇铏殑鍘熺悊鍜屽熀鏈祦绋嬨傚涔燞TTP鍗忚銆丠TML瑙ｆ瀽绛夌浉鍏崇煡璇嗐3. 瀛︿範Python鐖櫕搴擄細Pyth...
绛旓細1.瀛︿範Python鍩虹锛氶鍏堬紝浣犻渶瑕佸涔燩ython鐨勫熀纭鐭ヨ瘑锛屽寘鎷娉曘佹暟鎹被鍨嬨佹帶鍒舵祦绛銆傛湁璁稿鍦ㄧ嚎鏁欑▼鍜屼功绫嶅彲浠ュ府鍔╀綘鍏ラ棬锛屼緥濡傘奝ythonCrashCourse銆嬫垨Codecademy鐨凱ython璇剧▼銆2.瀛︿範缃戠粶鍩虹锛氱悊瑙TTP鍗忚鍜孒TML/CSS鏄紪鍐欑埇铏殑鍏抽敭銆備綘鍙互鍦ㄧ綉涓婃壘鍒拌澶氬叧浜庤繖浜涗富棰樼殑璧勬簮锛屼緥濡侻ozillaDeveloperNetwork鐨刉...
绛旓細2銆浣跨敤浠ｇ悊IP 鍦寮鍙鐖櫕杩囩▼涓粡甯镐細閬囧埌IP琚皝鎺夌殑鎯呭喌锛岃繖鏃跺氨闇瑕佺敤鍒 浠ｇ悊IP锛涘湪urllib 2鍖呬腑鏈塒roxy Handler绫伙紝 閫氳繃姝ょ被鍙互璁剧疆浠ｇ悊 璁块棶缃戦〉锛屽涓嬩唬鐮佺墖娈碉細3銆丆ookies澶勭悊 cookies鏄煇浜涚綉绔欎负浜嗚鲸鍒敤鎴疯韩浠姐杩涜session璺熻釜鑰 鍌ㄥ瓨鍦ㄧ敤鎴锋湰鍦扮粓绔笂鐨勬暟鎹(閫氬父缁忚繃鍔犲瘑) 锛 python鎻愪緵浜 c...
绛旓細鐩墠鏈閫傚悎鐢ㄤ簬鍐欑埇铏鐨勮瑷鏄python锛宲ython涓渶鍙楁杩庣殑鐖櫕妗嗘灦鏄痵crapy,鏈枃鍥寸粫scrapy鏉ュ睍寮璁茶В鐖櫕鏄鎬庝箞宸ヤ綔鐨勩1.濡備笅鍥炬墍绀猴紝鐖櫕浠庣紪鍐欑殑spider鏂囦欢涓殑start_urls寮濮嬶紝杩欎釜鍒楄〃涓殑url灏辨槸鐖櫕鎶撳彇鐨勭涓涓綉椤碉紝瀹冪殑杩斿洖鍊兼槸璇rl瀵瑰簲缃戦〉鐨勬簮浠ｇ爜锛屾垜浠彲浠ョ敤榛樿鐨刾arse(self,response)鍑芥暟...
绛旓細鎵撳紑缃戦〉婧愮爜锛屽搴旂綉椤电粨鏋勫涓嬶紝寰堢畝鍗曪紝鎵鏈夊瓧娈靛唴瀹归兘鍙互鐩存帴鎵惧埌锛2.閽堝浠ヤ笂缃戦〉缁撴瀯锛屾垜浠氨鍙互缂栧啓鐩稿叧浠ｇ爜鏉ョ埇鍙栫綉椤垫暟鎹簡锛屽緢绠鍗曪紝鍏堟牴鎹畊rl鍦板潃锛鍒╃敤requests璇锋眰椤甸潰锛岀劧鍚庡啀鍒╃敤BeautifulSoup瑙ｆ瀽鏁版嵁锛堟牴鎹爣绛惧拰灞炴у畾浣嶏級灏辫锛屽涓嬶細绋嬪簭杩愯鎴浘濡備笅锛屽凡缁忔垚鍔熺埇鍙栧埌鏁版嵁锛Python鐖彇缃戦〉...
绛旓細鍒╃敤python鍐欑埇铏绋嬪簭鐨勬柟娉曪細1銆佸厛鍒嗘瀽缃戠珯鍐呭锛岀孩鑹查儴鍒嗗嵆鏄綉绔欐枃绔犲唴瀹筪iv銆2銆侀殢渚挎墦寮涓涓猟iv鏉ョ湅锛屽彲浠ョ湅鍒帮紝钃濊壊閮ㄥ垎闄や簡涓涓枃绔犳爣棰樹互澶栨病鏈変粈涔堟湁鐢ㄧ殑淇℃伅锛岃屾敞鎰忕孩鑹查儴鍒嗘垜鍕剧敾鍑虹殑鍦版柟锛屽彲浠ョ煡閬擄紝瀹冩槸鎸囧悜鏂囩珷鐨勫湴鍧鐨勮秴閾炬帴锛岄偅涔堢埇铏彧瑕佹崟鎹夊埌杩欎釜鍦板潃灏卞彲浠ヤ簡銆3銆佹帴涓嬫潵鍦ㄤ竴涓棶棰樺氨...
绛旓細鍏蜂綋姝ラ鏁翠綋鎬濊矾娴佺▼ 绠鍗曚唬鐮佹紨绀哄噯澶囧伐浣滀笅杞藉苟瀹夎鎵闇瑕佺殑python搴擄紝鍖呮嫭锛氬鎵闇瑕佺殑缃戦〉杩涜璇锋眰骞惰В鏋愯繑鍥炵殑鏁版嵁瀵逛簬鎯宠鍋氫竴涓畝鍗曠殑鐖櫕鑰岃█锛岃繖涓姝ュ叾瀹炲緢绠鍗曪紝涓昏鏄閫氳繃requests搴撴潵杩涜璇锋眰锛岀劧鍚庡杩斿洖鐨勬暟鎹繘琛屼竴涓В鏋愶紝瑙ｆ瀽涔嬪悗閫氳繃瀵逛簬鍏冪礌鐨勫畾浣嶅拰閫夋嫨鏉ヨ幏鍙栨墍闇瑕佺殑鏁版嵁鍏冪礌锛岃繘鑰岃幏鍙栧埌...
绛旓細瀹夎python 杩愯pipinstallrequests 杩愯pipinstallBeautifulSoup 鎶撳彇缃戦〉 瀹屾垚蹇呰宸ュ叿瀹夎鍚庯紝鎴戜滑姝ｅ紡寮濮缂栧啓鎴戜滑鐨鐖櫕銆傛垜浠殑绗竴涓换鍔℃槸瑕佹姄鍙栨墍鏈夎眴鐡ｄ笂鐨勫浘涔︿俊鎭傛垜浠互/subject/26986954/涓轰緥锛岄鍏堢湅鐪嬪紑濡備綍鎶撳彇缃戦〉鐨勫唴瀹广浣跨敤python鐨requests鎻愪緵鐨刧et()鏂规硶鎴戜滑鍙互闈炲父绠鍗曠殑鑾峰彇鐨勬寚瀹氱綉椤电殑...
绛旓細1.棣栧厛锛屾墦寮鍘熺綉椤碉紝濡備笅锛岃繖閲屽亣璁捐鐖彇鐨勫瓧娈靛寘鎷樀绉般佸唴瀹广佸ソ绗戞暟鍜岃瘎璁烘暟锛氭帴鐫鏌ョ湅缃戦〉婧愮爜锛屽涓嬶紝鍙互鐪嬬殑鍑烘潵锛屾墍鏈夌殑鏁版嵁閮藉祵濂鍦缃戦〉涓細2.鐒跺悗閽堝浠ヤ笂缃戦〉缁撴瀯锛屾垜浠氨鍙互鐩存帴缂栧啓鐖櫕浠ｇ爜锛岃В鏋愮綉椤靛苟鎻愬彇鍑烘垜浠渶瑕佺殑鏁版嵁浜嗭紝娴嬭瘯浠ｇ爜濡備笅锛岄潪甯哥畝鍗曪紝涓昏鐢ㄥ埌requests+BeautifulSoup缁勫悎锛...
