简述第一文《为什么选择爬虫，选择python》 Python中+=是什么意思？
python+=\u4e2d\u7684\u610f\u601d \u6570\u5b57\u8fd0\u7b97
\u5bf9\u5e94\u4ee3\u7801\uff1a
\u6ce8\u610f\u5bf9\u5e94\u7684\u4ee3\u7801\u548c\u6570\u5b66\u8fd0\u7b97\u7b26\u53f7\u662f\u6709\u533a\u522b\u7684\uff01
1+11-11*11/1 #\u4e0d\u7ba1\u662f\u5426\u80fd\u88ab\u6574\u9664\uff0c\u9664\u6cd5\u603b\u662f\u8fd4\u56de\u4e00\u4e2a\u6d6e\u70b9\u65702**2 #2\u76842\u6b21\u65b9\u5e42\u8fd0\u7b97
\u56db\u5219\u8fd0\u7b97
1\u3001\u4e24\u4e2a\u503c\u76f8\u52a0\uff0c\u7136\u540e\u8fd4\u56de\u503c\u7ed9\u7b26\u53f7\u5de6\u4fa7\u7684\u53d8\u91cf
\u4e3e\u4f8b\u5982\u4e0b:
>>> a=1
>>> b=3
>>> a+=b\uff08\u6216\u8005a+=3\uff09
>>> a
42\u3001\u7528\u4e8e\u5b57\u7b26\u4e32\u8fde\u63a5\uff08\u53d8\u91cf\u503c\u5e26\u5f15\u53f7\uff0c\u6570\u636e\u7c7b\u578b\u4e3a\u5b57\u7b26\u4e32\uff09
>>> a='1'
>>> b='2'
>>> a+=b
>>> a
'12'
\u6269\u5c55\u8d44\u6599\uff1a
Python\u5e38\u7528\u8fd0\u7b97\u7b26
1\u3001\u7b97\u672f\u8fd0\u7b97\u7b26
2\u3001\u6bd4\u8f83\u8fd0\u7b97\u7b26
3\u3001\u8d4b\u503c\u8fd0\u7b97\u7b26
4\u3001\u4f4d\u8fd0\u7b97\u7b26
5\u3001\u903b\u8f91\u8fd0\u7b97\u7b26
6\u3001\u6210\u5458\u8fd0\u7b97\u7b26
7\u3001\u8eab\u4efd\u8fd0\u7b97\u7b26
8\u3001\u8fd0\u7b97\u7b26\u4f18\u5148\u7ea7
\u4ee5\u4e0b\u6240\u5217\u4f18\u5148\u7ea7\u987a\u5e8f\u6309\u7167\u4ece\u4f4e\u5230\u9ad8\u4f18\u5148\u7ea7\u7684\u987a\u5e8f\uff1b\u540c\u884c\u4e3a\u76f8\u540c\u4f18\u5148\u7ea7\u3002
Lambda #\u8fd0\u7b97\u4f18\u5148\u7ea7\u6700\u4f4e
\u903b\u8f91\u8fd0\u7b97\u7b26: or
\u903b\u8f91\u8fd0\u7b97\u7b26: and
\u903b\u8f91\u8fd0\u7b97\u7b26:not
\u6210\u5458\u6d4b\u8bd5: in, not in
\u540c\u4e00\u6027\u6d4b\u8bd5: is, is not
\u6bd4\u8f83: ,>=,!=,==
\u6309\u4f4d\u6216: |
\u6309\u4f4d\u5f02\u6216: ^
\u6309\u4f4d\u4e0e: &
\u79fb\u4f4d: >
\u52a0\u6cd5\u4e0e\u51cf\u6cd5: + ,-
\u4e58\u6cd5\u3001\u9664\u6cd5\u4e0e\u53d6\u4f59: *, / ,%
\u6b63\u8d1f\u53f7: +x,-x
\u5177\u6709\u76f8\u540c\u4f18\u5148\u7ea7\u7684\u8fd0\u7b97\u7b26\u5c06\u4ece\u5de6\u81f3\u53f3\u7684\u65b9\u5f0f\u4f9d\u6b21\u8fdb\u884c\uff0c\u7528\u5c0f\u62ec\u53f7()\u53ef\u4ee5\u6539\u53d8\u8fd0\u7b97\u987a\u5e8f\u3002
\u53c2\u8003\u8d44\u6599\uff1a
\u53c2\u8003\u8d44\u6599\u6765\u6e90\uff1a\u767e\u5ea6\u767e\u79d1-Python
1 为什么选择爬虫？要想论述这个问题，需要从网络爬虫是什么？学习爬虫的原因是什么？怎样学习爬虫来理清自己学习的目的，这样才能更好地去研究爬虫技术并坚持下来。
1.1 什么是爬虫：爬虫通常指的是网络爬虫，就是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构。它还有一些不常使用的名字。如：网络蜘蛛（Web spider）、蚂蚁（ant）、自动检索工具（automatic indexer）、网络疾走（WEB scutter）、网络机器人等。
1.2 学习爬虫的原因：
1.2.1学习爬虫是一件很有趣的事。我曾利用爬虫抓过许多感兴趣东西，兴趣是最好的老师，感兴趣的东西学的快、记的牢，学后有成就感。
@学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋友希望能够深层次地了解搜索引擎的爬虫工作原理，或者希望自己能够开发出一款私人搜索引擎，那么此时，学习爬虫是非常有必要的。简单来说，我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。当然，信息怎么爬取、怎么存储、怎么进行分词、怎么进行相关性计算等，都是需要我们进行设计的，爬虫技术主要解决信息爬取的问题。
@学习爬虫可以获取更多的数据源。这些数据源可以按我们的目的进行采集，去掉很多无关数据。在进行大数据分析或者进行数据挖掘的时候，数据源可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自动地从互联网中获取我们感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，从而进行更深层次的数据分析，并获得更多有价值的信息。
@对于很多SEO从业者来说，学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜索引擎优化。既然是搜索引擎优化，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，才能知己知彼，百战不殆。
@学习爬虫更有钱景。爬虫工程师是当前紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。有些朋友学习爬虫可能为了就业或者跳槽。从这个角度来说，爬虫工程师方向也是不错的选择之一，因为目前爬虫工程师的需求越来越大，而能够胜任这方面岗位的人员较少，所以属于一个比较紧缺的职业方向，并且随着大数据时代的来临，爬虫技术的应用将越来越广泛，在未来会拥有很好的发展空间。
除了以上为大家总结的4种常见的学习爬虫的原因外，可能你还有一些其他学习爬虫的原因，总之，不管是什么原因，理清自己学习的目的，就可以更好地去研究一门知识技术，并坚持下来。
1.3 怎样学习爬虫：
1.3.1 选择一门编程语言。入门爬虫的前提肯定是需要学习一门编程语言，推荐使用Python 。2018年5月Python已排名第一，列为最受欢迎的语言。很多人将 Python 和爬虫绑在一起，相比 Java , Php , Node 等静态编程语言来说，Python 内部的爬虫库更加丰富，提供了更多访问网页的 API。写一个爬虫不需要几十行，只需要 十几行就能搞定。尤其是现在反爬虫日渐严峻的情况下，如何伪装自己的爬虫尤为重要，例如 UA , Cookie , Ip 等等，Python 库对其的封装非常和谐，为此可以减少大部分代码量。
1.3.2 学习爬虫需要掌握的知识点。http相关知识,浏览器拦截、抓包；python的scrapy 、requests、BeautifulSoap等第三方库的安装、使用，编码知识、bytes 和str类型转换，抓取javascript 动态生成的内容，模拟post、get，header等，cookie处理、登录，代理访问，多线程访问、asyncio 异步，正则表达式、xpath,分布式爬虫开发等。
1.3.3 学习爬虫的基本方法。 理清楚爬虫所需的知识体系，然后各个击破；推荐先买一本有一定知名度的书便于系统的学习爬虫的知识体系。刚开始学的时候，建议从基础库开始，有一定理解之后，才用框架爬取，因为框架也是用基础搭建的，只不过集成了很多成熟的模块，提高了抓取的效率，完善了功能。多实战练习和总结实战练习，多总结对方网站的搭建技术、网站的反爬机制，该类型网站的解析方法，破解对方网站的反爬技巧等。
2 为什么选择Python?
百度知道在这方面介绍的很多了，相比其它编程语言，我就简答一下理由：
2.1 python是脚本语言。因为脚本语言与编译语言的开发测试过程不同，可以极大的提高编程效率。作为程序员至少应该掌握一本通用脚本语言，而python是当前最流行的通用脚本语言。与python相似的有ruby、tcl、perl等少数几种，而python被称为脚本语言之王。
2.2 python拥有广泛的社区。可以说，只要你想到的问题，只要你需要使用的第三方库，基本上都是python的接口。
2.3 python开发效率高。同样的任务，大约是java的10倍，c++的10-20倍。
2.4 python在科研上有大量的应用。大数据计算、模拟计算、科学计算都有很多的包。python几乎在每个linux操作系统上都安装有，大部分unix系统也都缺省安装，使用方便。
2.5 python有丰富和强大的独立库。它几乎不依赖第三方软件就可以完成大部分的系统运维和常见的任务开发；python帮助里还有许多例子代码，几乎拿过来略改一下就可以正式使用。
强大的库，简洁的代码，一个爬虫项目也就几十到一百多行代码就搞定了。其他编程语言哪个能做到
简要说一下自己的思路
1，有两个代理可用（618IP代理，618爬虫代理服务器），所以爬的时候随机选取一个
2，复制安装下载后，随机选一个
3，爬一次随机睡眠3～6s 这样IP池有百万，可以无限一直爬
绛旓細浠庤繖涓搴︽潵璇锛岀埇铏宸ョ▼甯堟柟鍚戜篃鏄笉閿欑殑閫夋嫨涔嬩竴锛屽洜涓虹洰鍓嶇埇铏伐绋嬪笀鐨勯渶姹傝秺鏉ヨ秺澶э紝鑰岃兘澶熻儨浠昏繖鏂归潰宀椾綅鐨勪汉鍛樿緝灏戯紝鎵浠ュ睘浜庝竴涓瘮杈冪揣缂虹殑鑱屼笟鏂瑰悜锛屽苟涓旈殢鐫澶ф暟鎹椂浠ｇ殑鏉ヤ复锛岀埇铏妧鏈殑搴旂敤灏嗚秺鏉ヨ秺骞挎硾锛屽湪鏈潵浼氭嫢鏈夊緢濂界殑鍙戝睍绌洪棿銆傞櫎浜嗕互涓婁负澶у鎬荤粨鐨4绉嶅父瑙佺殑瀛︿範鐖櫕鐨勫師鍥犲锛屽彲鑳戒綘杩樻湁...
绛旓細閫夋嫨浣跨敤Python鍋鐖櫕鏈変互涓嬪嚑涓師鍥狅細1. 绠鍗曟槗瀛︼細Python璇█绠娲佹槗鎳傦紝璇硶绠鍗曪紝涓婃墜蹇紝閫傚悎鍒濆鑰呭叆闂ㄣ2. 涓板瘜鐨勫簱鍜屾鏋讹細Python鎷ユ湁浼楀寮哄ぇ鐨勫簱鍜屾鏋讹紝濡侭eautifulSoup銆丼crapy绛夛紝鍙互甯姪寮鍙戣呭揩閫熸瀯寤虹埇铏▼搴忋3. 骞挎硾鐨勫簲鐢ㄩ鍩燂細Python鍦ㄦ暟鎹垎鏋愩佹満鍣ㄥ涔犮佷汉宸ユ櫤鑳界瓑棰嗗煙鏈夊箍娉涚殑搴旂敤锛屼娇...
绛旓細閫夋嫨Python浣滀负瀹炵幇鐖櫕鐨勮瑷锛屽叾涓昏鑰冭檻鍥犵礌鍦ㄤ簬锛(1) 鎶撳彇缃戦〉鏈韩鐨勬帴鍙 鐩告瘮鍏朵粬鍔ㄦ佽剼鏈瑷(濡侾erl銆丼hell)锛孭ython鐨剈rllib2鍖呮彁渚涗簡杈冧负瀹屾暣鐨勮闂綉椤垫枃妗ｇ殑API;鐩告瘮涓庡叾浠栭潤鎬佺紪绋嬭瑷(濡侸ava銆丆#銆丆++)锛孭ython鎶撳彇缃戦〉鏂囨。鐨勬帴鍙ｆ洿绠娲併傛澶栵紝鎶撳彇缃戦〉鏈夋椂鍊欓渶瑕佹ā鎷熸祻瑙堝櫒鐨勮涓猴紝寰堝缃戠珯瀵逛簬...
绛旓細鎶撳彇绠鍗曪紝鎶撳彇鍒版暟鎹 澶勭悊涔熺畝鍗曘傚綋鐒舵垜娌＄敤杩囧叾浠栬瑷鎶撳彇缃戦〉锛屼粎浠ｈ〃鎴戜釜浜虹殑鐞嗚В銆
绛旓細浣犳湁鍋氫釜缃戦〉寮鍙戯紝搴旇鐭ラ亾锛岀幇鍦ㄧ殑缃戦〉锛屽ぇ澶氭槸鍔ㄦ佺殑锛岀洿鎺ヨ姹傚埌鐨勯〉闈㈠苟闈炴渶缁堟樉绀虹殑椤甸潰銆傛湡闂存湁澶ч噺鐨勬帴鍙ｈ姹傦紝鐒跺悗閫氳繃杩斿洖鐨勬暟鎹紝鏈湴娓叉煋鏈缁堥〉闈傝繖绫荤埇铏氨闇瑕佽窡韪洰鏍囩綉椤电殑璇锋眰杩囩▼锛屽垎鏋愭帴鍙ｃ傚啀鑰咃紝鐖彇鏁版嵁涔熷彧鏄埇铏伐浣滅殑涓閮ㄥ垎锛岃繕鏈夋暟鎹竻娲楋紝鏁版嵁杞瓨锛岀埇铏鐨勪簯绔儴缃诧紝绛夌瓑绛夈
绛旓細Python鏄竴绉嶈绠楁満绋嬪簭璁捐璇█锛屾槸涓绉嶅姩鎬佺殑銆侀潰鍚戝璞＄殑鑴氭湰璇█銆侾ython鏈鍒濊璁捐鐢ㄤ簬缂栧啓鑷姩鍖栬剼鏈(shell)锛岄殢鐫鐗堟湰鐨勪笉鏂洿鏂板拰璇█鏂板姛鑳界殑娣诲姞锛岃秺鏉ヨ秺澶氳鐢ㄤ簬鐙珛鐨勩佸ぇ鍨嬮」鐩殑寮鍙戙鐖櫕涓鑸槸鎸囩綉缁滆祫婧愮殑鎶撳彇锛屽洜涓篜ython鐨勮剼鏈壒鎬э紝Python鏄撲簬閰嶇疆锛屽瀛楃鐨勫鐞嗕篃闈炲父鐏垫椿锛屽姞涓奝ython鏈...
绛旓細Python鍙互浣跨敤绗笁鏂瑰簱锛堝requests銆丅eautifulSoup銆丼crapy绛夛級鏉ヨ繘琛岀煡涔庣殑鏁版嵁鐖彇銆鐖櫕鏄寚閫氳繃绋嬪簭鑷姩鑾峰彇缃戦〉涓婄殑鏁版嵁鐨勬妧鏈紝鑰屽弽鐖櫕鏄寚缃戠珯涓轰簡闃叉琚埇铏▼搴忚幏鍙栨暟鎹岄噰鍙栫殑涓绯诲垪鎺柦銆傚湪鐖彇鐭ヤ箮鏁版嵁鏃讹紝闇瑕佹敞鎰忎互涓嬪嚑鐐癸細1. 浣跨敤鍚堟硶鐨勬柟寮忚繘琛屾暟鎹埇鍙栵紝閬靛畧鐭ヤ箮鐨勭浉鍏宠瀹氬拰鍗忚銆2. ...
绛旓細涓銆乸ython鐖櫕鏄浠涔鎰忔濈埇铏細鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰呰爼铏傚嵆锛氭墦寮涓涓綉椤碉紝鏈変釜宸ュ叿锛屽彲浠ユ妸缃戦〉涓婄殑鍐呭鑾峰彇涓嬫潵锛屽瓨鍒颁綘鎯宠鐨勫湴鏂癸紝杩欎釜宸ュ叿灏辨槸鐖櫕銆侾ython鐖櫕鏋舵瀯缁勬垚锛1.缃戦〉瑙ｆ瀽鍣紝灏嗕竴涓綉椤...
绛旓細杩欐槸涓闂ㄩ潪甯搁傚悎寮鍙戠綉缁鐖櫕鐨勭紪绋嬭瑷锛岀浉姣斾簬鍏朵粬闈欐佺紪绋嬭瑷锛宲ython鎶撳彇缃戦〉鏂囨。鐨勬帴鍙ｆ洿绠娲;鐩告瘮浜庡叾浠栧姩鎬佽剼鏈瑷锛宲ython鐨剈rllib2鍖呮彁渚涗簡杈冧负瀹屾暣鐨勮闂綉椤垫枃妗ｇ殑API銆傛澶栵紝python涓湁浼樼鐨勭涓夋柟鍖呭彲浠ラ珮鏁堝疄鐜扮綉椤垫姄鍙栵紝骞跺彲鐢ㄦ瀬鐭殑浠ｇ爜瀹屾垚缃戦〉鐨勬爣绛捐繃婊ゅ姛鑳姐傝繖涔熷氨鏄涓轰粈涔python琚彨浣...
绛旓細缃戠粶鐖櫕鏄竴绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇浜掕仈缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈俒2] 鍙互鐞嗚В涓轰竴涓嚜鍔ㄨ闂綉椤靛苟杩涜鐩稿叧鎿嶄綔鐨勫皬鏈哄櫒浜恒傛湰璐ㄤ笂灏辨槸瀹炵幇楂樻晥銆佽嚜鍔ㄥ湴杩涜缃戠粶淇℃伅鐨勮鍙栥佹敹闆嗙瓑琛屼负銆傜埇铏▼搴忔渶鏃╂槸1994骞翠紤鏂暒澶у鐨凟ichmann寮鍙戠殑RBSE銆傝憲鍚嶇殑璋锋瓕鍏徃浣跨敤鐨凣oogle Crawler鏄綋鏃惰繕鏄柉鍧︾澶у鐢...
