Python爬虫如何写？ python爬虫程序应该怎么写？具体要求如下
\u5982\u4f55\u7528python\u5199\u51fa\u722c\u866b\uff1f\u5148\u68c0\u67e5\u662f\u5426\u6709API
API\u662f\u7f51\u7ad9\u5b98\u65b9\u63d0\u4f9b\u7684\u6570\u636e\u63a5\u53e3\uff0c\u5982\u679c\u901a\u8fc7\u8c03\u7528API\u91c7\u96c6\u6570\u636e\uff0c\u5219\u76f8\u5f53\u4e8e\u5728\u7f51\u7ad9\u5141\u8bb8\u7684\u8303\u56f4\u5185\u91c7\u96c6\uff0c\u8fd9\u6837\u65e2\u4e0d\u4f1a\u6709\u9053\u5fb7\u6cd5\u5f8b\u98ce\u9669\uff0c\u4e5f\u6ca1\u6709\u7f51\u7ad9\u6545\u610f\u8bbe\u7f6e\u7684\u969c\u788d\uff1b\u4e0d\u8fc7\u8c03\u7528API\u63a5\u53e3\u7684\u8bbf\u95ee\u5219\u5904\u4e8e\u7f51\u7ad9\u7684\u63a7\u5236\u4e2d\uff0c\u7f51\u7ad9\u53ef\u4ee5\u7528\u6765\u6536\u8d39\uff0c\u53ef\u4ee5\u7528\u6765\u9650\u5236\u8bbf\u95ee\u4e0a\u9650\u7b49\u3002\u6574\u4f53\u6765\u770b\uff0c\u5982\u679c\u6570\u636e\u91c7\u96c6\u7684\u9700\u6c42\u5e76\u4e0d\u662f\u5f88\u72ec\u7279\uff0c\u90a3\u4e48\u6709API\u5219\u5e94\u4f18\u5148\u91c7\u7528\u8c03\u7528API\u7684\u65b9\u5f0f\u3002
\u6570\u636e\u7ed3\u6784\u5206\u6790\u548c\u6570\u636e\u5b58\u50a8
\u722c\u866b\u9700\u6c42\u8981\u5341\u5206\u6e05\u6670\uff0c\u5177\u4f53\u8868\u73b0\u4e3a\u9700\u8981\u54ea\u4e9b\u5b57\u6bb5\uff0c\u8fd9\u4e9b\u5b57\u6bb5\u53ef\u4ee5\u662f\u7f51\u9875\u4e0a\u73b0\u6709\u7684\uff0c\u4e5f\u53ef\u4ee5\u662f\u6839\u636e\u7f51\u9875\u4e0a\u73b0\u6709\u7684\u5b57\u6bb5\u8fdb\u4e00\u6b65\u8ba1\u7b97\u7684\uff0c\u8fd9\u4e9b\u5b57\u6bb5\u5982\u4f55\u6784\u5efa\u8868\uff0c\u591a\u5f20\u8868\u5982\u4f55\u8fde\u63a5\u7b49\u3002\u503c\u5f97\u4e00\u63d0\u7684\u662f\uff0c\u786e\u5b9a\u5b57\u6bb5\u73af\u8282\uff0c\u4e0d\u8981\u53ea\u770b\u5c11\u91cf\u7684\u7f51\u9875\uff0c\u56e0\u4e3a\u5355\u4e2a\u7f51\u9875\u53ef\u4ee5\u7f3a\u5c11\u522b\u7684\u540c\u7c7b\u7f51\u9875\u7684\u5b57\u6bb5\uff0c\u8fd9\u65e2\u6709\u53ef\u80fd\u662f\u7531\u4e8e\u7f51\u7ad9\u7684\u95ee\u9898\uff0c\u4e5f\u53ef\u80fd\u662f\u7528\u6237\u884c\u4e3a\u7684\u5dee\u5f02\uff0c\u53ea\u6709\u591a\u89c2\u5bdf\u4e00\u4e9b\u7f51\u9875\u624d\u80fd\u7efc\u5408\u62bd\u8c61\u51fa\u5177\u6709\u666e\u9002\u6027\u7684\u5173\u952e\u5b57\u6bb5\u2014\u2014\u8fd9\u5e76\u4e0d\u662f\u51e0\u5206\u949f\u770b\u51e0\u4e2a\u7f51\u9875\u5c31\u53ef\u4ee5\u51b3\u5b9a\u7684\u7b80\u5355\u4e8b\u60c5\uff0c\u5982\u679c\u9047\u4e0a\u4e86\u90a3\u79cd\u81c3\u80bf\u3001\u6df7\u4e71\u7684\u7f51\u7ad9\uff0c\u53ef\u80fd\u5751\u975e\u5e38\u591a\u3002
\u5bf9\u4e8e\u5927\u89c4\u6a21\u722c\u866b\uff0c\u9664\u4e86\u672c\u8eab\u8981\u91c7\u96c6\u7684\u6570\u636e\u5916\uff0c\u5176\u4ed6\u91cd\u8981\u7684\u4e2d\u95f4\u6570\u636e\uff08\u6bd4\u5982\u9875\u9762Id\u6216\u8005url\uff09\u4e5f\u5efa\u8bae\u5b58\u50a8\u4e0b\u6765\uff0c\u8fd9\u6837\u53ef\u4ee5\u4e0d\u5fc5\u6bcf\u6b21\u91cd\u65b0\u722c\u53d6id\u3002
\u6570\u636e\u5e93\u5e76\u6ca1\u6709\u56fa\u5b9a\u7684\u9009\u62e9\uff0c\u672c\u8d28\u4ecd\u662f\u5c06Python\u91cc\u7684\u6570\u636e\u5199\u5230\u5e93\u91cc\uff0c\u53ef\u4ee5\u9009\u62e9\u5173\u7cfb\u578b\u6570\u636e\u5e93MySQL\u7b49\uff0c\u4e5f\u53ef\u4ee5\u9009\u62e9\u975e\u5173\u7cfb\u578b\u6570\u636e\u5e93MongoDB\u7b49\uff1b\u5bf9\u4e8e\u666e\u901a\u7684\u7ed3\u6784\u5316\u6570\u636e\u4e00\u822c\u5b58\u5728\u5173\u7cfb\u578b\u6570\u636e\u5e93\u5373\u53ef\u3002sqlalchemy\u662f\u4e00\u4e2a\u6210\u719f\u597d\u7528\u7684\u6570\u636e\u5e93\u8fde\u63a5\u6846\u67b6\uff0c\u5176\u5f15\u64ce\u53ef\u4e0ePandas\u914d\u5957\u4f7f\u7528\uff0c\u628a\u6570\u636e\u5904\u7406\u548c\u6570\u636e\u5b58\u50a8\u8fde\u63a5\u8d77\u6765\uff0c\u4e00\u6c14\u5475\u6210\u3002
\u6570\u636e\u6d41\u5206\u6790
\u5bf9\u4e8e\u8981\u6279\u91cf\u722c\u53d6\u7684\u7f51\u9875\uff0c\u5f80\u4e0a\u4e00\u5c42\uff0c\u770b\u5b83\u7684\u5165\u53e3\u5728\u54ea\u91cc\uff1b\u8fd9\u4e2a\u662f\u6839\u636e\u91c7\u96c6\u8303\u56f4\u6765\u786e\u5b9a\u5165\u53e3\uff0c\u6bd4\u5982\u82e5\u53ea\u60f3\u722c\u4e00\u4e2a\u5730\u533a\u7684\u6570\u636e\uff0c\u90a3\u4ece\u8be5\u5730\u533a\u7684\u4e3b\u9875\u5207\u5165\u5373\u53ef\uff1b\u4f46\u82e5\u60f3\u722c\u5168\u56fd\u6570\u636e\uff0c\u5219\u5e94\u66f4\u5f80\u4e0a\u4e00\u5c42\uff0c\u4ece\u5168\u56fd\u7684\u5165\u53e3\u5207\u5165\u3002\u4e00\u822c\u7684\u7f51\u7ad9\u7f51\u9875\u90fd\u4ee5\u6811\u72b6\u7ed3\u6784\u4e3a\u4e3b\uff0c\u627e\u5230\u5207\u5165\u70b9\u4f5c\u4e3a\u6839\u8282\u70b9\u4e00\u5c42\u5c42\u5f80\u91cc\u8fdb\u5165\u5373\u53ef\u3002
\u503c\u5f97\u6ce8\u610f\u7684\u4e00\u70b9\u662f\uff0c\u4e00\u822c\u7f51\u7ad9\u90fd\u4e0d\u4f1a\u76f4\u63a5\u628a\u5168\u91cf\u7684\u6570\u636e\u505a\u6210\u5217\u8868\u7ed9\u4f60\u4e00\u9875\u9875\u5f80\u4e0b\u7ffb\u76f4\u5230\u904d\u5386\u5b8c\u6570\u636e\uff0c\u6bd4\u5982\u94fe\u5bb6\u4e0a\u9762\u5f88\u6e05\u695a\u5730\u5199\u7740\u670924587\u5957\u4e8c\u624b\u623f\uff0c\u4f46\u662f\u5b83\u53ea\u7ed9100\u9875\uff0c\u6bcf\u987530\u4e2a\uff0c\u5982\u679c\u76f4\u63a5\u8fd9\u4e48\u5207\u5165\u53ea\u80fd\u8bbf\u95ee3000\u4e2a\uff0c\u8fdc\u8fdc\u4f4e\u4e8e\u771f\u5b9e\u6570\u636e\u91cf\uff1b\u56e0\u6b64\u5148\u5207\u7247\uff0c\u518d\u6574\u5408\u7684\u6570\u636e\u601d\u7ef4\u53ef\u4ee5\u83b7\u5f97\u66f4\u5927\u7684\u6570\u636e\u91cf\u3002\u663e\u7136100\u9875\u662f\u7cfb\u7edf\u8bbe\u5b9a\uff0c\u53ea\u8981\u8d85\u8fc7300\u4e2a\u5c31\u53ea\u663e\u793a100\u9875\uff0c\u56e0\u6b64\u53ef\u4ee5\u901a\u8fc7\u5176\u4ed6\u7684\u7b5b\u9009\u6761\u4ef6\u4e0d\u65ad\u7ec6\u5206\uff0c\u53ea\u5230\u7b5b\u9009\u7ed3\u679c\u5c0f\u4e8e\u7b49\u4e8e300\u9875\u5c31\u8868\u793a\u8be5\u6761\u4ef6\u4e0b\u6ca1\u6709\u7f3a\u6f0f\uff1b\u6700\u540e\u628a\u5404\u79cd\u6761\u4ef6\u4e0b\u7684\u7b5b\u9009\u7ed3\u679c\u96c6\u5408\u5728\u4e00\u8d77\uff0c\u5c31\u80fd\u591f\u5c3d\u53ef\u80fd\u5730\u8fd8\u539f\u771f\u5b9e\u6570\u636e\u91cf\u3002
\u660e\u786e\u4e86\u5927\u89c4\u6a21\u722c\u866b\u7684\u6570\u636e\u6d41\u52a8\u673a\u5236\uff0c\u4e0b\u4e00\u6b65\u5c31\u662f\u9488\u5bf9\u5355\u4e2a\u7f51\u9875\u8fdb\u884c\u89e3\u6790\uff0c\u7136\u540e\u628a\u8fd9\u4e2a\u6a21\u5f0f\u590d\u5236\u5230\u6574\u4f53\u3002\u5bf9\u4e8e\u5355\u4e2a\u7f51\u9875\uff0c\u91c7\u7528\u6293\u5305\u5de5\u5177\u53ef\u4ee5\u67e5\u770b\u5b83\u7684\u8bf7\u6c42\u65b9\u5f0f\uff0c\u662fget\u8fd8\u662fpost\uff0c\u6709\u6ca1\u6709\u63d0\u4ea4\u8868\u5355\uff0c\u6b32\u91c7\u96c6\u7684\u6570\u636e\u662f\u5199\u5165\u6e90\u4ee3\u7801\u91cc\u8fd8\u662f\u901a\u8fc7AJAX\u8c03\u7528JSON\u6570\u636e\u3002
\u540c\u6837\u7684\u9053\u7406\uff0c\u4e0d\u80fd\u53ea\u770b\u4e00\u4e2a\u9875\u9762\uff0c\u8981\u89c2\u5bdf\u591a\u4e2a\u9875\u9762\uff0c\u56e0\u4e3a\u6279\u91cf\u722c\u866b\u8981\u5f04\u6e05\u8fd9\u4e9b\u5927\u91cf\u9875\u9762url\u4ee5\u53ca\u53c2\u6570\u7684\u89c4\u5f8b\uff0c\u4ee5\u4fbf\u53ef\u4ee5\u81ea\u52a8\u6784\u9020\uff1b\u6709\u7684\u7f51\u7ad9\u7684url\u4ee5\u53ca\u5173\u952e\u53c2\u6570\u662f\u52a0\u5bc6\u7684\uff0c\u8fd9\u6837\u5c31\u60b2\u5267\u4e86\uff0c\u4e0d\u80fd\u9760\u7740\u660e\u663e\u7684\u903b\u8f91\u76f4\u63a5\u6784\u9020\uff0c\u8fd9\u79cd\u60c5\u51b5\u4e0b\u8981\u6279\u91cf\u722c\u866b\uff0c\u8981\u4e48\u627e\u5230\u5b83\u52a0\u5bc6\u7684js\u4ee3\u7801\uff0c\u5728\u722c\u866b\u4ee3\u7801\u4e0a\u52a0\u5165\u4ece\u660e\u6587\u5230\u5bc6\u7801\u7684\u52a0\u5bc6\u8fc7\u7a0b\uff1b\u8981\u4e48\u91c7\u7528\u4e0b\u6587\u6240\u8ff0\u7684\u6a21\u62df\u6d4f\u89c8\u5668\u7684\u65b9\u5f0f\u3002
\u6570\u636e\u91c7\u96c6
\u4e4b\u524d\u7528R\u505a\u722c\u866b\uff0c\u4e0d\u8981\u7b11\uff0cR\u7684\u786e\u53ef\u4ee5\u505a\u722c\u866b\u5de5\u4f5c\uff1b\u4f46\u5728\u722c\u866b\u65b9\u9762\uff0cPython\u663e\u7136\u4f18\u52bf\u66f4\u660e\u663e\uff0c\u53d7\u4f17\u66f4\u5e7f\uff0c\u8fd9\u5f97\u76ca\u4e8e\u5176\u6210\u719f\u7684\u722c\u866b\u6846\u67b6\uff0c\u4ee5\u53ca\u5176\u4ed6\u7684\u5728\u8ba1\u7b97\u673a\u7cfb\u7edf\u4e0a\u66f4\u597d\u7684\u6027\u80fd\u3002scrapy\u662f\u4e00\u4e2a\u6210\u719f\u7684\u722c\u866b\u6846\u67b6\uff0c\u76f4\u63a5\u5f80\u91cc\u5957\u7528\u5c31\u597d\uff0c\u6bd4\u8f83\u9002\u5408\u65b0\u624b\u5b66\u4e60\uff1brequests\u662f\u4e00\u4e2a\u6bd4\u539f\u751f\u7684urllib\u5305\u66f4\u7b80\u6d01\u5f3a\u5927\u7684\u5305\uff0c\u9002\u5408\u4f5c\u5b9a\u5236\u5316\u7684\u722c\u866b\u529f\u80fd\u3002requests\u4e3b\u8981\u63d0\u4f9b\u4e00\u4e2a\u57fa\u672c\u8bbf\u95ee\u529f\u80fd\uff0c\u628a\u7f51\u9875\u7684\u6e90\u4ee3\u7801\u7ed9download\u4e0b\u6765\u3002\u4e00\u822c\u800c\u8a00\uff0c\u53ea\u8981\u52a0\u4e0a\u8ddf\u6d4f\u89c8\u5668\u540c\u6837\u7684Requests Headers\u53c2\u6570\uff0c\u5c31\u53ef\u4ee5\u6b63\u5e38\u8bbf\u95ee\uff0cstatus_code\u4e3a200\uff0c\u5e76\u6210\u529f\u5f97\u5230\u7f51\u9875\u6e90\u4ee3\u7801\uff1b\u4f46\u662f\u4e5f\u6709\u67d0\u4e9b\u53cd\u722c\u866b\u8f83\u4e3a\u4e25\u683c\u7684\u7f51\u7ad9\uff0c\u8fd9\u4e48\u76f4\u63a5\u8bbf\u95ee\u4f1a\u88ab\u7981\u6b62\uff1b\u6216\u8005\u8bf4status\u4e3a200\u4e5f\u4e0d\u4f1a\u8fd4\u56de\u6b63\u5e38\u7684\u7f51\u9875\u6e90\u7801\uff0c\u800c\u662f\u8981\u6c42\u5199\u9a8c\u8bc1\u7801\u7684js\u811a\u672c\u7b49\u3002
\u4e0b\u8f7d\u5230\u4e86\u6e90\u7801\u4e4b\u540e\uff0c\u5982\u679c\u6570\u636e\u5c31\u5728\u6e90\u7801\u4e2d\uff0c\u8fd9\u79cd\u60c5\u51b5\u662f\u6700\u7b80\u5355\u7684\uff0c\u8fd9\u5c31\u8868\u793a\u5df2\u7ecf\u6210\u529f\u83b7\u53d6\u5230\u4e86\u6570\u636e\uff0c\u5269\u4e0b\u7684\u65e0\u975e\u5c31\u662f\u6570\u636e\u63d0\u53d6\u3001\u6e05\u6d17\u3001\u5165\u5e93\u3002\u4f46\u82e5\u7f51\u9875\u4e0a\u6709\uff0c\u7136\u800c\u6e90\u4ee3\u7801\u91cc\u6ca1\u6709\u7684\uff0c\u5c31\u8868\u793a\u6570\u636e\u5199\u5728\u5176\u4ed6\u5730\u65b9\uff0c\u4e00\u822c\u800c\u8a00\u662f\u901a\u8fc7AJAX\u5f02\u6b65\u52a0\u8f7dJSON\u6570\u636e\uff0c\u4eceXHR\u4e2d\u627e\u5373\u53ef\u627e\u5230\uff1b\u5982\u679c\u8fd9\u6837\u8fd8\u627e\u4e0d\u5230\uff0c\u90a3\u5c31\u9700\u8981\u53bb\u89e3\u6790js\u811a\u672c\u4e86\u3002
\u89e3\u6790\u5de5\u5177
\u6e90\u7801\u4e0b\u8f7d\u540e\uff0c\u5c31\u662f\u89e3\u6790\u6570\u636e\u4e86\uff0c\u5e38\u7528\u7684\u6709\u4e24\u79cd\u65b9\u6cd5\uff0c\u4e00\u79cd\u662f\u7528BeautifulSoup\u5bf9\u6811\u72b6HTML\u8fdb\u884c\u89e3\u6790\uff0c\u53e6\u4e00\u79cd\u662f\u901a\u8fc7\u6b63\u5219\u8868\u8fbe\u5f0f\u4ece\u6587\u672c\u4e2d\u62bd\u53d6\u6570\u636e\u3002
BeautifulSoup\u6bd4\u8f83\u7b80\u5355\uff0c\u652f\u6301Xpath\u548cCSSSelector\u4e24\u79cd\u9014\u5f84\uff0c\u800c\u4e14\u50cfChrome\u8fd9\u7c7b\u6d4f\u89c8\u5668\u4e00\u822c\u90fd\u5df2\u7ecf\u628a\u5404\u4e2a\u7ed3\u70b9\u7684Xpath\u6216\u8005CSSSelector\u6807\u8bb0\u597d\u4e86\uff0c\u76f4\u63a5\u590d\u5236\u5373\u53ef\u3002\u4ee5CSSSelector\u4e3a\u4f8b\uff0c\u53ef\u4ee5\u9009\u62e9tag\u3001id\u3001class\u7b49\u591a\u79cd\u65b9\u5f0f\u8fdb\u884c\u5b9a\u4f4d\u9009\u62e9\uff0c\u5982\u679c\u6709id\u5efa\u8bae\u9009id\uff0c\u56e0\u4e3a\u6839\u636eHTML\u8bed\u6cd5\uff0c\u4e00\u4e2aid\u53ea\u80fd\u7ed1\u5b9a\u4e00\u4e2a\u6807\u7b7e\u3002
\u6b63\u5219\u8868\u8fbe\u5f0f\u5f88\u5f3a\u5927\uff0c\u4f46\u6784\u9020\u8d77\u6765\u6709\u70b9\u590d\u6742\uff0c\u9700\u8981\u4e13\u95e8\u53bb\u5b66\u4e60\u3002\u56e0\u4e3a\u4e0b\u8f7d\u4e0b\u6765\u7684\u6e90\u7801\u683c\u5f0f\u5c31\u662f\u5b57\u7b26\u4e32\uff0c\u6240\u4ee5\u6b63\u5219\u8868\u8fbe\u5f0f\u53ef\u4ee5\u5927\u663e\u8eab\u624b\uff0c\u800c\u4e14\u5904\u7406\u901f\u5ea6\u5f88\u5feb\u3002
\u5bf9\u4e8eHTML\u7ed3\u6784\u56fa\u5b9a\uff0c\u5373\u540c\u6837\u7684\u5b57\u6bb5\u5904tag\u3001id\u548cclass\u540d\u79f0\u90fd\u76f8\u540c\uff0c\u91c7\u7528BeautifulSoup\u89e3\u6790\u662f\u4e00\u79cd\u7b80\u5355\u9ad8\u6548\u7684\u65b9\u6848\uff0c\u4f46\u6709\u7684\u7f51\u7ad9\u6df7\u4e71\uff0c\u540c\u6837\u7684\u6570\u636e\u5728\u4e0d\u540c\u9875\u9762\u95f4HTML\u7ed3\u6784\u4e0d\u540c\uff0c\u8fd9\u79cd\u60c5\u51b5\u4e0bBeautifulSoup\u5c31\u4e0d\u592a\u597d\u4f7f\uff1b\u5982\u679c\u6570\u636e\u672c\u8eab\u683c\u5f0f\u56fa\u5b9a\uff0c\u5219\u7528\u6b63\u5219\u8868\u8fbe\u5f0f\u66f4\u65b9\u4fbf\u3002\u6bd4\u5982\u4ee5\u4e0b\u7684\u4f8b\u5b50\uff0c\u8fd9\u4e24\u4e2a\u90fd\u662f\u6df1\u5733\u5730\u533a\u67d0\u4e2a\u5730\u65b9\u7684\u7ecf\u5ea6\uff0c\u4f46\u4e00\u4e2a\u9875\u9762\u7684class\u662flong\uff0c\u4e00\u4e2a\u9875\u9762\u7684class\u662flongitude\uff0c\u6839\u636eclass\u6765\u9009\u62e9\u5c31\u6ca1\u529e\u6cd5\u540c\u65f6\u6ee1\u8db32\u4e2a\uff0c\u4f46\u53ea\u8981\u6ce8\u610f\u5230\u6df1\u5733\u5730\u533a\u7684\u7ecf\u5ea6\u90fd\u662f\u4ecb\u4e8e113\u5230114\u4e4b\u95f4\u7684\u6d6e\u70b9\u6570\uff0c\u5c31\u53ef\u4ee5\u901a\u8fc7\u6b63\u5219\u8868\u8fbe\u5f0f"11[3-4].\d+"\u6765\u4f7f\u4e24\u4e2a\u90fd\u6ee1\u8db3\u3002
\u6570\u636e\u6574\u7406
\u4e00\u822c\u800c\u8a00\uff0c\u722c\u4e0b\u6765\u7684\u539f\u59cb\u6570\u636e\u90fd\u4e0d\u662f\u6e05\u6d01\u7684\uff0c\u6240\u4ee5\u5728\u5165\u5e93\u524d\u8981\u5148\u6574\u7406\uff1b\u7531\u4e8e\u5927\u90e8\u5206\u90fd\u662f\u5b57\u7b26\u4e32\uff0c\u6240\u4ee5\u4e3b\u8981\u4e5f\u5c31\u662f\u5b57\u7b26\u4e32\u7684\u5904\u7406\u65b9\u5f0f\u4e86\u3002
\u5b57\u7b26\u4e32\u81ea\u5e26\u7684\u65b9\u6cd5\u53ef\u4ee5\u6ee1\u8db3\u5927\u90e8\u5206\u7b80\u5355\u7684\u5904\u7406\u9700\u6c42\uff0c\u6bd4\u5982strip\u53ef\u4ee5\u53bb\u6389\u9996\u5c3e\u4e0d\u9700\u8981\u7684\u5b57\u7b26\u6216\u8005\u6362\u884c\u7b26\u7b49\uff0creplace\u53ef\u4ee5\u5c06\u6307\u5b9a\u90e8\u5206\u66ff\u6362\u6210\u9700\u8981\u7684\u90e8\u5206\uff0csplit\u53ef\u4ee5\u5728\u6307\u5b9a\u90e8\u5206\u5206\u5272\u7136\u540e\u622a\u53d6\u4e00\u90e8\u5206\u3002
\u5982\u679c\u5b57\u7b26\u4e32\u5904\u7406\u7684\u9700\u6c42\u592a\u590d\u6742\u4ee5\u81f4\u5e38\u89c4\u7684\u5b57\u7b26\u4e32\u5904\u7406\u65b9\u6cd5\u4e0d\u597d\u89e3\u51b3\uff0c\u90a3\u5c31\u8981\u8bf7\u51fa\u6b63\u5219\u8868\u8fbe\u5f0f\u8fd9\u4e2a\u5927\u6740\u5668\u3002
Pandas\u662fPython\u4e2d\u5e38\u7528\u7684\u6570\u636e\u5904\u7406\u6a21\u5757\uff0c\u867d\u7136\u4f5c\u4e3a\u4e00\u4e2a\u4eceR\u8f6c\u8fc7\u6765\u7684\u4eba\u4e00\u76f4\u89c9\u5f97\u8fd9\u4e2a\u6a21\u4effR\u7684\u5305\u5b9e\u5728\u662f\u592a\u96be\u7528\u4e86\u3002Pandas\u4e0d\u4ec5\u53ef\u4ee5\u8fdb\u884c\u5411\u91cf\u5316\u5904\u7406\u3001\u7b5b\u9009\u3001\u5206\u7ec4\u3001\u8ba1\u7b97\uff0c\u8fd8\u80fd\u591f\u6574\u5408\u6210DataFrame\uff0c\u5c06\u91c7\u96c6\u7684\u6570\u636e\u6574\u5408\u6210\u4e00\u5f20\u8868\uff0c\u5448\u73b0\u6700\u7ec8\u7684\u5b58\u50a8\u6548\u679c\u3002
\u5199\u5165\u6570\u636e\u5e93
\u5982\u679c\u53ea\u662f\u4e2d\u5c0f\u89c4\u6a21\u7684\u722c\u866b\uff0c\u53ef\u4ee5\u628a\u6700\u540e\u7684\u722c\u866b\u7ed3\u679c\u6c47\u5408\u6210\u4e00\u5f20\u8868\uff0c\u6700\u540e\u5bfc\u51fa\u6210\u4e00\u5f20\u8868\u683c\u4ee5\u4fbf\u540e\u7eed\u4f7f\u7528\uff1b\u4f46\u5bf9\u4e8e\u8868\u6570\u91cf\u591a\u3001\u5355\u5f20\u8868\u5bb9\u91cf\u5927\u7684\u5927\u89c4\u6a21\u722c\u866b\uff0c\u518d\u5bfc\u51fa\u6210\u4e00\u5806\u96f6\u6563\u7684\u8868\u5c31\u4e0d\u5408\u9002\u4e86\uff0c\u80af\u5b9a\u8fd8\u662f\u8981\u653e\u5728\u6570\u636e\u5e93\u4e2d\uff0c\u65e2\u65b9\u4fbf\u5b58\u50a8\uff0c\u4e5f\u65b9\u4fbf\u8fdb\u4e00\u6b65\u6574\u7406\u3002
\u5199\u5165\u6570\u636e\u5e93\u6709\u4e24\u79cd\u65b9\u6cd5\uff0c\u4e00\u79cd\u662f\u901a\u8fc7Pandas\u7684DataFrame\u81ea\u5e26\u7684to_sql\u65b9\u6cd5\uff0c\u597d\u5904\u662f\u81ea\u52a8\u5efa\u8868\uff0c\u5bf9\u4e8e\u5bf9\u8868\u7ed3\u6784\u6ca1\u6709\u4e25\u683c\u8981\u6c42\u7684\u60c5\u51b5\u4e0b\u53ef\u4ee5\u91c7\u7528\u8fd9\u79cd\u65b9\u5f0f\uff0c\u4e0d\u8fc7\u503c\u5f97\u4e00\u63d0\u7684\u662f\uff0c\u5982\u679c\u662f\u591a\u884c\u7684DataFrame\u53ef\u4ee5\u76f4\u63a5\u63d2\u5165\u4e0d\u52a0\u7d22\u5f15\uff0c\u4f46\u82e5\u53ea\u6709\u4e00\u884c\u5c31\u8981\u52a0\u7d22\u5f15\u5426\u5219\u62a5\u9519\uff0c\u867d\u7136\u8fd9\u4e2a\u8ba4\u4e3a\u4e0d\u592a\u5408\u7406\uff1b\u53e6\u4e00\u79cd\u662f\u5229\u7528\u6570\u636e\u5e93\u5f15\u64ce\u6765\u6267\u884cSQL\u8bed\u53e5\uff0c\u8fd9\u79cd\u60c5\u51b5\u4e0b\u8981\u5148\u81ea\u5df1\u5efa\u8868\uff0c\u867d\u7136\u591a\u4e86\u4e00\u6b65\uff0c\u4f46\u662f\u8868\u7ed3\u6784\u5b8c\u5168\u662f\u81ea\u5df1\u63a7\u5236\u4e4b\u4e0b\u3002Pandas\u4e0eSQL\u90fd\u53ef\u4ee5\u7528\u6765\u5efa\u8868\u3001\u6574\u7406\u6570\u636e\uff0c\u7ed3\u5408\u8d77\u6765\u4f7f\u7528\u6548\u7387\u66f4\u9ad8\u3002
\u697c\u4e3b\u4f60\u597d\uff0c\u722c\u866b\u7684\u4f5c\u7528\u662f\u722c\u53d6\u6307\u5b9a\u7684url\u9875\u9762\u4fe1\u606f\uff0c\u5982\u679c\u8981\u6309\u7167\u4f60\u7684\u8981\u6c42\u8fdb\u884c\u8f93\u51fa\u4fe1\u606f\uff0c\u9700\u8981\u5bf9\u722c\u53d6\u7684\u9875\u9762\u8fdb\u884c\u89e3\u6790\uff0c\u662f\u53e6\u4e00\u4e2a\u6b65\u9aa4\uff0c\u5efa\u8bae\u4f60\u641c\u7d22\u4e00\u4e0bpython\u4e2d\u89e3\u6790html\u9875\u9762\u7684\u7c7b\u5e93\uff0c\u6211\u63a8\u8350beautifulsoup\u8fd9\u4e2a\u5e93\uff0c\u529f\u80fd\u5f88\u5f3a\u5927
先检查是否有APIAPI是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于网站的控制中，网站可以用来收费，可以用来限制访问上限等。整体来看，如果数据采集的需求并不是很独特，那么有API则应优先采用调用API的方式。
数据结构分析和数据存储
爬虫需求要十分清晰，具体表现为需要哪些字段，这些字段可以是网页上现有的，也可以是根据网页上现有的字段进一步计算的，这些字段如何构建表，多张表如何连接等。值得一提的是，确定字段环节，不要只看少量的网页，因为单个网页可以缺少别的同类网页的字段，这既有可能是由于网站的问题，也可能是用户行为的差异，只有多观察一些网页才能综合抽象出具有普适性的关键字段——这并不是几分钟看几个网页就可以决定的简单事情，如果遇上了那种臃肿、混乱的网站，可能坑非常多。
对于大规模爬虫，除了本身要采集的数据外，其他重要的中间数据（比如页面Id或者url）也建议存储下来，这样可以不必每次重新爬取id。
数据库并没有固定的选择，本质仍是将Python里的数据写到库里，可以选择关系型数据库MySQL等，也可以选择非关系型数据库MongoDB等；对于普通的结构化数据一般存在关系型数据库即可。sqlalchemy是一个成熟好用的数据库连接框架，其引擎可与Pandas配套使用，把数据处理和数据存储连接起来，一气呵成。
数据流分析
对于要批量爬取的网页，往上一层，看它的入口在哪里；这个是根据采集范围来确定入口，比如若只想爬一个地区的数据，那从该地区的主页切入即可；但若想爬全国数据，则应更往上一层，从全国的入口切入。一般的网站网页都以树状结构为主，找到切入点作为根节点一层层往里进入即可。
值得注意的一点是，一般网站都不会直接把全量的数据做成列表给你一页页往下翻直到遍历完数据，比如链家上面很清楚地写着有24587套二手房，但是它只给100页，每页30个，如果直接这么切入只能访问3000个，远远低于真实数据量；因此先切片，再整合的数据思维可以获得更大的数据量。显然100页是系统设定，只要超过300个就只显示100页，因此可以通过其他的筛选条件不断细分，只到筛选结果小于等于300页就表示该条件下没有缺漏；最后把各种条件下的筛选结果集合在一起，就能够尽可能地还原真实数据量。
明确了大规模爬虫的数据流动机制，下一步就是针对单个网页进行解析，然后把这个模式复制到整体。对于单个网页，采用抓包工具可以查看它的请求方式，是get还是post，有没有提交表单，欲采集的数据是写入源代码里还是通过AJAX调用JSON数据。
同样的道理，不能只看一个页面，要观察多个页面，因为批量爬虫要弄清这些大量页面url以及参数的规律，以便可以自动构造；有的网站的url以及关键参数是加密的，这样就悲剧了，不能靠着明显的逻辑直接构造，这种情况下要批量爬虫，要么找到它加密的js代码，在爬虫代码上加入从明文到密码的加密过程；要么采用下文所述的模拟浏览器的方式。
数据采集
之前用R做爬虫，不要笑，R的确可以做爬虫工作；但在爬虫方面，Python显然优势更明显，受众更广，这得益于其成熟的爬虫框架，以及其他的在计算机系统上更好的性能。scrapy是一个成熟的爬虫框架，直接往里套用就好，比较适合新手学习；requests是一个比原生的urllib包更简洁强大的包，适合作定制化的爬虫功能。requests主要提供一个基本访问功能，把网页的源代码给download下来。一般而言，只要加上跟浏览器同样的Requests Headers参数，就可以正常访问，status_code为200，并成功得到网页源代码；但是也有某些反爬虫较为严格的网站，这么直接访问会被禁止；或者说status为200也不会返回正常的网页源码，而是要求写验证码的js脚本等。
下载到了源码之后，如果数据就在源码中，这种情况是最简单的，这就表示已经成功获取到了数据，剩下的无非就是数据提取、清洗、入库。但若网页上有，然而源代码里没有的，就表示数据写在其他地方，一般而言是通过AJAX异步加载JSON数据，从XHR中找即可找到；如果这样还找不到，那就需要去解析js脚本了。
解析工具
源码下载后，就是解析数据了，常用的有两种方法，一种是用BeautifulSoup对树状HTML进行解析，另一种是通过正则表达式从文本中抽取数据。
BeautifulSoup比较简单，支持Xpath和CSSSelector两种途径，而且像Chrome这类浏览器一般都已经把各个结点的Xpath或者CSSSelector标记好了，直接复制即可。以CSSSelector为例，可以选择tag、id、class等多种方式进行定位选择，如果有id建议选id，因为根据HTML语法，一个id只能绑定一个标签。
正则表达式很强大，但构造起来有点复杂，需要专门去学习。因为下载下来的源码格式就是字符串，所以正则表达式可以大显身手，而且处理速度很快。
对于HTML结构固定，即同样的字段处tag、id和class名称都相同，采用BeautifulSoup解析是一种简单高效的方案，但有的网站混乱，同样的数据在不同页面间HTML结构不同，这种情况下BeautifulSoup就不太好使；如果数据本身格式固定，则用正则表达式更方便。比如以下的例子，这两个都是深圳地区某个地方的经度，但一个页面的class是long，一个页面的class是longitude，根据class来选择就没办法同时满足2个，但只要注意到深圳地区的经度都是介于113到114之间的浮点数，就可以通过正则表达式"11[3-4].\d+"来使两个都满足。
数据整理
一般而言，爬下来的原始数据都不是清洁的，所以在入库前要先整理；由于大部分都是字符串，所以主要也就是字符串的处理方式了。
字符串自带的方法可以满足大部分简单的处理需求，比如strip可以去掉首尾不需要的字符或者换行符等，replace可以将指定部分替换成需要的部分，split可以在指定部分分割然后截取一部分。
如果字符串处理的需求太复杂以致常规的字符串处理方法不好解决，那就要请出正则表达式这个大杀器。
Pandas是Python中常用的数据处理模块，虽然作为一个从R转过来的人一直觉得这个模仿R的包实在是太难用了。Pandas不仅可以进行向量化处理、筛选、分组、计算，还能够整合成DataFrame，将采集的数据整合成一张表，呈现最终的存储效果。
写入数据库
如果只是中小规模的爬虫，可以把最后的爬虫结果汇合成一张表，最后导出成一张表格以便后续使用；但对于表数量多、单张表容量大的大规模爬虫，再导出成一堆零散的表就不合适了，肯定还是要放在数据库中，既方便存储，也方便进一步整理。
写入数据库有两种方法，一种是通过Pandas的DataFrame自带的to_sql方法，好处是自动建表，对于对表结构没有严格要求的情况下可以采用这种方式，不过值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否则报错，虽然这个认为不太合理；另一种是利用数据库引擎来执行SQL语句，这种情况下要先自己建表，虽然多了一步，但是表结构完全是自己控制之下。Pandas与SQL都可以用来建表、整理数据，结合起来使用效率更高。
这个看你观察的所看所想写的
爬虫就是这么写，就是这么的简单
百度文库上有那个怕什么教程，你去看一下。
爬虫就是在地上爬的虫子。
绛旓細python鐖櫕锛闇瑕佸畨瑁呭繀瑕佺殑搴撱佹姄鍙栫綉椤垫暟鎹佽В鏋怘TML銆佸瓨鍌ㄦ暟鎹佸惊鐜姄鍙銆1銆佸畨瑁呭繀瑕佺殑搴 涓轰簡缂栧啓鐖櫕锛屼綘闇瑕佸畨瑁呬竴浜汸ython搴擄紝渚嬪requests銆丅eautifulSoup鍜宭xml绛夈備綘鍙互浣跨敤pip install鍛戒护鏉ュ畨瑁呰繖浜涘簱銆2銆佹姄鍙栫綉椤垫暟鎹 涓昏閫氳繃requests搴撳彂閫丠TTP璇锋眰锛岃幏鍙栫綉椤靛搷搴旂殑HTML鍐呭銆3銆佽В鏋怘TML 浣跨敤B...
绛旓細杩愯pipinstallrequests 杩愯pipinstallBeautifulSoup 鎶撳彇缃戦〉 瀹屾垚蹇呰宸ュ叿瀹夎鍚庯紝鎴戜滑姝ｅ紡寮濮嬬紪鍐欐垜浠殑鐖櫕銆傛垜浠殑绗竴涓换鍔℃槸瑕佹姄鍙栨墍鏈夎眴鐡ｄ笂鐨勫浘涔︿俊鎭傛垜浠互/subject/26986954/涓轰緥锛岄鍏堢湅鐪嬪紑濡備綍鎶撳彇缃戦〉鐨勫唴瀹广備娇鐢python鐨requests鎻愪緵鐨刧et()鏂规硶鎴戜滑鍙互闈炲父绠鍗曠殑鑾峰彇鐨勬寚瀹氱綉椤电殑鍐呭,浠ｇ爜濡...
绛旓細1. 瀛︿範Python鍩虹璇硶锛歅ython鏄竴闂ㄧ畝鍗曟槗瀛︾殑缂栫▼璇█锛屽涔鐖櫕涔嬪墠锛岄鍏堥渶瑕佹帉鎻Python鐨鍩虹璇硶锛屽鍙橀噺銆佹暟鎹被鍨嬨佽繍绠楃銆佹祦绋嬫帶鍒剁瓑銆傚彲浠ラ氳繃闃呰鏁欐潗銆佸湪绾挎暀绋嬫垨鐭棰戞暀绋嬭繘琛屽涔犮2. 鎺屾彙缃戠粶璇锋眰涓庡搷搴旂煡璇嗭細浜嗚ВHTTP鍗忚鏄埇铏紑鍙戠殑鍩虹銆傞渶瑕佺煡閬濡備綍鍙戦佺綉缁滆姹傦紝浠ュ強鏈嶅姟鍣ㄥ搷搴旂殑鍩烘湰鍘...
绛旓細鍒╃敤python鍐欑埇铏绋嬪簭鐨勬柟娉曪細1銆佸厛鍒嗘瀽缃戠珯鍐呭锛岀孩鑹查儴鍒嗗嵆鏄綉绔欐枃绔犲唴瀹筪iv銆2銆侀殢渚挎墦寮涓涓猟iv鏉ョ湅锛屽彲浠ョ湅鍒帮紝钃濊壊閮ㄥ垎闄や簡涓涓枃绔犳爣棰樹互澶栨病鏈変粈涔堟湁鐢ㄧ殑淇℃伅锛岃屾敞鎰忕孩鑹查儴鍒嗘垜鍕剧敾鍑虹殑鍦版柟锛屽彲浠ョ煡閬擄紝瀹冩槸鎸囧悜鏂囩珷鐨勫湴鍧鐨勮秴閾炬帴锛岄偅涔堢埇铏彧瑕佹崟鎹夊埌杩欎釜鍦板潃灏卞彲浠ヤ簡銆3銆佹帴涓嬫潵鍦ㄤ竴涓棶棰樺氨...
绛旓細Python鐨勭埇铏搴撳叾瀹炲緢澶氾紝鍍忓父瑙佺殑urllib锛宺equests锛宐s4锛宭xml绛夛紝鍒濆鍏ラ棬鐖櫕鐨勮瘽锛屽彲浠ュ涔犱竴涓媟equests鍜宐s4(BeautifulSoup)杩2涓簱锛屾瘮杈冪畝鍗曪紝涔熸槗瀛︿範锛宺equests鐢ㄤ簬璇锋眰椤甸潰锛孊eautifulSoup鐢ㄤ簬瑙ｆ瀽椤甸潰锛屼笅闈㈡垜浠ヨ繖2涓簱涓哄熀纭锛岀畝鍗曚粙缁嶄竴涓Python濡備綍鐖彇缃戦〉闈欐佹暟鎹拰缃戦〉鍔ㄦ佹暟鎹紝瀹為獙鐜win10+...
绛旓細鍦ㄥ紑鍙鐖櫕杩囩▼涓粡甯镐細閬囧埌IP琚皝鎺夌殑鎯呭喌,杩欐椂灏遍渶瑕佺敤鍒 浠ｇ悊IP; 鍦╱rllib 2鍖呬腑鏈塒roxy Handler绫, 閫氳繃姝ょ被鍙互璁剧疆浠ｇ悊 璁块棶缃戦〉,濡備笅浠ｇ爜鐗囨: 3銆丆ookies澶勭悊 cookies鏄煇浜涚綉绔欎负浜嗚鲸鍒敤鎴疯韩浠姐佽繘琛宻ession璺熻釜鑰 鍌ㄥ瓨鍦ㄧ敤鎴锋湰鍦扮粓绔笂鐨勬暟鎹(閫氬父缁忚繃鍔犲瘑) , python鎻愪緵浜 cookie lib妯″潡鐢ㄤ簬澶勭悊cookies,...
绛旓細python鐖櫕鍏ラ棬浠嬬粛锛1.棣栧厛鏄幏鍙栫洰鏍囬〉闈紝杩欎釜瀵圭敤python鏉ヨ锛屽緢绠鍗曘傝繍琛岀粨鏋滃拰鎵撳紑鐧惧害椤甸潰锛屾煡鐪嬫簮浠ｇ爜涓鏍枫傝繖閲岄拡瀵筽ython鐨勮娉曟湁鍑犵偣璇存槑銆俛).import灏辨槸寮曞叆鐨勬剰鎬濓紝java涔熺敤import锛孋/C++鐢ㄧ殑鏄痠nclude锛屼綔鐢ㄤ竴鏍 b).urllib杩欎釜鏄痯ython鑷甫鐨勬ā鍧楋紝鍦ㄤ互鍚庡紑鍙戠殑鏃跺欙紝濡傛灉閬囧埌鑷繁闇瑕佺殑鍔熻兘...
绛旓細鐩墠鏈閫傚悎鐢ㄤ簬鍐欑埇铏鐨勮瑷鏄痯ython锛python涓鏈鍙楁杩庣殑鐖櫕妗嗘灦鏄痵crapy,鏈枃鍥寸粫scrapy鏉ュ睍寮璁茶В鐖櫕鏄鎬庝箞宸ヤ綔鐨勩1.濡備笅鍥炬墍绀猴紝鐖櫕浠庣紪鍐欑殑spider鏂囦欢涓殑start_urls寮濮嬶紝杩欎釜鍒楄〃涓殑url灏辨槸鐖櫕鎶撳彇鐨勭涓涓綉椤碉紝瀹冪殑杩斿洖鍊兼槸璇rl瀵瑰簲缃戦〉鐨勬簮浠ｇ爜锛屾垜浠彲浠ョ敤榛樿鐨刾arse(self,response)鍑芥暟...
绛旓細1.瀛︿範Python鍩虹锛氶鍏堬紝浣犻渶瑕佸涔Python鐨鍩虹鐭ヨ瘑锛屽寘鎷娉曘佹暟鎹被鍨嬨佹帶鍒舵祦绛夈傛湁璁稿鍦ㄧ嚎鏁欑▼鍜屼功绫嶅彲浠ュ府鍔╀綘鍏ラ棬锛屼緥濡傘奝ythonCrashCourse銆嬫垨Codecademy鐨凱ython璇剧▼銆2.瀛︿範缃戠粶鍩虹锛氱悊瑙TTP鍗忚鍜孒TML/CSS鏄紪鍐鐖櫕鐨勫叧閿備綘鍙互鍦ㄧ綉涓婃壘鍒拌澶氬叧浜庤繖浜涗富棰樼殑璧勬簮锛屼緥濡侻ozillaDeveloperNetwork鐨...
绛旓細瀛︿範HTTP鍗忚銆丠TML瑙ｆ瀽绛夌浉鍏崇煡璇嗐3. 瀛︿範Python鐖櫕搴擄細Python鏈夊緢澶氫紭绉鐨勭埇铏簱锛屽Requests銆丅eautifulSoup銆丼crapy绛夈傚彲浠ラ夋嫨鍏朵腑涓涓簱杩涜瀛︿範鍜屽疄璺点4. 瀹炶返椤圭洰锛氶夋嫨涓涓畝鍗曠殑缃戠珯浣滀负缁冧範瀵硅薄锛屽皾璇曚娇鐢≒ython鐖櫕搴撹繘琛屾暟鎹噰闆嗐傚彲浠ヤ粠鑾峰彇缃戦〉鍐呭銆佽В鏋怘TML銆佹彁鍙栨暟鎹瓑鏂归潰杩涜瀹炶返銆5. ...
