爬虫技术是什么
导读：人们正在以前所未有的速度转向互联网，我们在互联网上所做的很多行为产生了大量的“用户数据”，比如微博、购买记录等。互联网成了海量信息的载体；互联网目前是分析市场趋势、监视竞争对手或者获取销售线索的最佳场所，数据采集以及分析能力已成为驱动业务决策的关键技能。
如何有效地提取并利用这些信息成了一个巨大的挑战，而网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型、爬虫的抓取策略以及深入学习爬虫所需的网络基础等相关知识进行介绍。
作者：赵国生 王健
来源：华章科技
01 爬虫是什么
网络爬虫（又被称为网页蜘蛛、网络机器人，在FOAF社区中，更经常地称为网页追逐者）是一种按照一定的规则，自动抓取万维网信息的程序或者脚本。
另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
网络爬虫通过爬取互联网上网站服务器的内容来工作。它是用计算机语言编写的程序或脚本，用于自动从Internet上获取信息或数据，扫描并抓取每个所需页面上的某些信息，直到处理完所有能正常打开的页面。
作为搜索引擎的重要组成部分，爬虫首要的功能就是爬取网页数据（如图2-1所示），目前市面流行的采集器软件都是运用网络爬虫的原理或功能。
▲图2-1 网络爬虫象形图
02 爬虫的意义
现如今大数据时代已经到来，网络爬虫技术成为这个时代不可或缺的一部分，企业需要数据来分析用户行为、自己产品的不足之处以及竞争对手的信息等，而这一切的首要条件就是数据的采集。
网络爬虫的价值其实就是数据的价值
，在互联网社会中，数据是无价之宝，一切皆为数据，谁拥有了大量有用的数据，谁就拥有了决策的主动权。网络爬虫的应用领域很多，如搜索引擎、数据采集、广告过滤、大数据分析等。
1）抓取各大电商网站的商品销量信息及用户评价来进行分析，如图2-2所示。
▲图2-2 电商网站的商品销售信息
2）分析大众点评、美团网等餐饮类网站的用户消费、评价和发展趋势，如图2-3所示。
▲图2-3 餐饮类网站的用户消费信息
3）分析各个城市中学区房的比例，以及学区房比普通二手房价格高出多少，如图2-4所示。
▲图2-4 学区房的比例与价格对比
以上数据是通过前嗅ForeSpider数据采集软件爬下来的，有兴趣的读者可以尝试自己爬一些数据。
03 爬虫的原理
我们通常会将网络爬虫的组成模块分为初链接库、网络抓取模块、网页处理模块、网页分析模块、DNS模块、待抓取链接队列、网页库等，网络爬虫的各系模块可形成一个循坏体系，从而不断地进行分析和抓取。
爬虫的工作原理可以很简单地解释为先找到目标信息网，然后页面抓取模块，接着页面分析模块，最后数据存储模块。
其具体详情如图2-5所示。
▲图2-5 爬虫原理图
爬虫工作基本流程：
首先在互联网中选出一部分网页，以这些网页的链接地址作为种子URL；将这些种子URL放入待抓取的URL队列中，爬虫从待抓取的URL队列依次读取； 将URL通过DNS解析； 把链接地址转换为网站服务器对应的IP地址； 网页下载器通过网站服务器对网页进行下载； 下载的网页为网页文档形式； 对网页文档中的URL进行抽取； 过滤掉已经抓取的URL； 对未进行抓取的URL继续循环抓取，直至待抓取URL队列为空。
04 爬虫技术的类型
聚焦网络爬虫
是“面向特定主题需求”的一种爬虫程序，而
通用网络爬虫
则是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
增量抓取
意即针对某个站点的数据进行抓取，当网站的新增数据或者该站点的数据发生变化后，自动地抓取它新增的或者变化后的数据。
Web页面按存在方式可以分为表层网页（surface Web）和深层网页（deep Web，也称invisible Web pages或hidden Web）。
表层网页
是指传统搜索引擎可以索引的页面，即以超链接可以到达的静态网页为主来构成的Web页面。
深层网页
是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。
关于作者：
赵国生，哈尔滨师范大学教授，工学博士，硕士生导师，黑龙江省网络安全技术领域特殊人才。主要从事可信网络、入侵容忍、认知计算、物联网安全等方向的教学与科研工作。
本文摘编自《Python网络爬虫技术与实战》，经出版方授权发布。
绛旓細鐖櫕鎶鏈槸鍋氫粠缃戦〉涓婃姄鍙栨暟鎹俊鎭苟淇濆瓨鐨勮嚜鍔ㄥ寲绋嬪簭锛屽畠鐨勫師鐞嗗氨鏄ā鎷熸祻瑙堝櫒鍙戦佺綉缁滆姹傦紝鎺ュ彈璇锋眰鍝嶅簲锛岀劧鍚庢寜鐓т竴瀹氱殑瑙勫垯鑷姩鎶撳彇浜掕仈缃戞暟鎹傚垎鏋愬涓嬶細1銆佽幏鍙栫綉椤 鑾峰彇缃戦〉鍙互绠鍗曠悊瑙ｄ负鍚戠綉椤电殑鏈嶅姟鍣ㄥ彂閫佺綉缁滆姹傦紝鐒跺悗鏈嶅姟鍣ㄨ繑鍥炵粰鎴戜滑缃戦〉鐨勬簮浠ｇ爜锛屽叾涓氫俊鐨勫簳灞傚師鐞嗚緝涓哄鏉傦紝鑰孭ython缁欐垜浠...
绛旓細1銆佺埇铏妧鏈細鐖櫕涓昏閽堝涓庣綉缁滅綉椤碉紝鍙堢О缃戠粶鐖櫕銆佺綉缁滆湗铔涳紝鍙互鑷姩鍖栨祻瑙堢綉缁滀腑鐨勪俊鎭紝鎴栬呰鏄竴绉嶇綉缁滄満鍣ㄤ汉銆傚畠浠骞挎硾鐢ㄤ簬浜掕仈缃戞悳绱㈠紩鎿庢垨鍏朵粬绫讳技缃戠珯锛屼互鑾峰彇鎴栨洿鏂拌繖浜涚綉绔欑殑鍐呭鍜屾绱㈡柟寮忋傚畠浠彲浠ヨ嚜鍔ㄩ噰闆嗘墍鏈夊叾鑳藉璁块棶鍒扮殑椤甸潰鍐呭锛屼互渚跨▼搴忓仛涓嬩竴姝ョ殑澶勭悊銆2銆乄eb鐖櫕鏄竴绉嶈嚜鍔ㄨ闂...
绛旓細1銆佺埇铏妧鏈嵆缃戠粶鐖櫕锛堝張绉颁负缃戦〉铚樿洓锛岀綉缁滄満鍣ㄤ汉锛屽湪FOAF绀惧尯涓棿锛屾洿缁忓父鐨勭О涓虹綉椤佃拷閫愯咃級锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰呰爼铏2銆佺綉缁滅埇铏寜鐓х郴缁熺粨鏋勫拰瀹炵幇鎶鏈紝澶ц嚧鍙互鍒嗕负浠ヤ笅鍑犵绫诲瀷锛氶氱敤缃戠粶鐖櫕锛...
绛旓細缃戠粶鐖櫕鎶鏈槸涓绉嶈嚜鍔ㄥ寲鑾峰彇浜掕仈缃戜俊鎭殑鎶鏈銆瀹冮氳繃绋嬪簭妯℃嫙浜虹被鍦ㄤ簰鑱旂綉涓婄殑娴忚琛屼负锛岃嚜鍔ㄨ闂綉椤靛苟鎻愬彇鎵闇鐨勪俊鎭缃戠粶鐖櫕鎶鏈彲浠ョ敤浜庡悇绉嶅簲鐢ㄥ満鏅锛屽鎼滅储寮曟搸銆佹暟鎹寲鎺樸佷俊鎭洃鎺х瓑銆傚叾鍩烘湰鍘熺悊鏄氳繃HTTP鍗忚鍚戠洰鏍囩綉绔欏彂閫佽姹傦紝鑾峰彇缃戦〉鍐呭锛屽苟瑙ｆ瀽缃戦〉缁撴瀯锛屼粠涓彁鍙栨墍闇鐨勪俊鎭傜綉缁滅埇铏妧鏈...
绛旓細1銆佺埇铏富瑕侀拡瀵逛笌缃戠粶涓婂悇绫讳俊鎭殑鎼滈泦锛屽張绉扮綉缁滅埇铏佺綉缁滆湗铔涳紝鍙互鑷姩鍖栨祻瑙堢綉缁滀腑鐨勪俊鎭紝鏄竴绉嶇綉缁滄満鍣ㄤ汉銆2銆佺洰鍓嶅箍娉涚敤浜庝簰鑱旂綉鎼滅储寮曟搸鎴栧叾浠栫被浼肩綉绔欙紝鑷姩閲囬泦鎵鏈夊叾鑳藉璁块棶鍒扮殑椤甸潰鍐呭锛屽苟鏍规嵁闇瑕佸仛涓嬩竴姝ョ殑澶勭悊銆3銆侀殢鐫鍙嶇埇鎶鏈殑杩涙锛岀埇铏篃闇瑕佷笉鏂彉鎹㈡柟寮忔柟娉曪紝
绛旓細缃戠粶鐖櫕鏄涓涓嚜鍔ㄦ彁鍙栫綉椤电殑绋嬪簭锛屽畠涓烘悳绱㈠紩鎿庝粠涓囩淮缃戜笂涓嬭浇缃戦〉锛屾槸鎼滅储寮曟搸鐨勯噸瑕佺粍鎴愩備紶缁熺埇铏粠涓涓垨鑻ュ共鍒濆缃戦〉鐨刄RL寮濮嬶紝鑾峰緱鍒濆缃戦〉涓婄殑URL锛屽湪鎶撳彇缃戦〉鐨勮繃绋嬩腑锛屼笉鏂粠褰撳墠椤甸潰涓婃娊鍙栨柊鐨刄RL鏀惧叆闃熷垪锛岀洿鍒版弧瓒崇郴缁熺殑涓瀹氬仠姝㈡潯浠躲傝仛鐒︾埇铏殑宸ヤ綔娴佺▼杈冧负澶嶆潅锛岄渶瑕佹牴鎹竴瀹氱殑缃戦〉鍒嗘瀽绠楁硶...
绛旓細閫氫織鏉ヨ锛鐖櫕灏辨槸鍒╃敤浠ｇ爜缂栧啓鐨勭▼搴忔垨鑴氭湰锛屽府鍔╀綘瀵逛簰鑱旂綉娴烽噺淇℃伅杩涜杩囨护銆佺瓫閫夛紝鎵归噺鑷姩鎶撳彇缃戠珯涓綘鎯宠幏鍙栫殑淇℃伅锛屽苟瀵瑰叾杩涜鏁寸悊鎺掑簭銆傜綉缁滅埇铏張琚垚涓虹綉缁滆湗铔涳紝濡傛灉灏嗕簰鑱旂綉姣斿柣鎴愪竴涓湗铔涚綉锛岄偅涔堣繖涓▼搴忔垨鑴氭湰锛屽氨鏄湪缃戜笂鐖潵鐖幓鐨勮湗铔涖傚綊缁撲负涓鍙ヨ瘽灏辨槸杩涜浜掕仈缃戜俊鎭殑鑷姩鍖栨绱紝...
绛旓細缃戠粶鐖櫕 浠涔堟槸鐖櫕鎶鏈 缃戠粶鐖櫕銆傚彲浠ヨ嚜鍔ㄥ寲娴忚缃戠粶涓殑淇℃伅锛屽綋鐒舵祻瑙堜俊鎭殑鏃跺欓渶瑕佹寜鐓ф垜浠埗瀹氱殑瑙勫垯杩涜锛岃繖浜涜鍒欐垜浠О涔嬩负缃戠粶鐖櫕绠楁硶銆備娇鐢≒ython鍙互寰堟柟渚垮湴缂栧啓鍑虹埇铏▼搴忥紝杩涜浜掕仈缃戜俊鎭殑鑷姩鍖栨绱俉eb鐖櫕鏄竴绉嶈嚜鍔ㄨ闂綉椤电殑鑴氭湰鎴栨満鍣ㄤ汉锛屽叾浣滅敤鏄粠缃戦〉鎶撳彇鍘熷鏁版嵁-鏈缁堢敤鎴峰湪灞忓箷涓...
绛旓細鐖彇锛屽嵆缃戠粶鐖櫕锛鏄竴绉嶈嚜鍔ㄥ寲鑾峰彇浜掕仈缃戜俊鎭殑鎶鏈銆傚畠鍙互閫氳繃绋嬪簭妯℃嫙浜哄伐娴忚缃戦〉鐨勮涓猴紝鑷姩鑾峰彇缃戦〉涓婄殑鏁版嵁骞惰繘琛屽鐞嗐傝繖绉嶆妧鏈父鐢ㄤ簬鎼滅储寮曟搸銆佺綉绔欐姄鍙栥佹暟鎹寲鎺樼瓑鏂归潰銆傜埇鍙栧彲浠ヨ鏁版嵁澶勭悊鏇村揩鏇村噯纭紝浣嗗悓鏃朵篃闇瑕佹敞鎰忛伒瀹堢浉鍏虫硶寰嬫硶瑙勶紝涓嶅緱渚电姱浠栦汉鏉冪泭銆傜埇鍙栧湪浠婂ぉ鐨勬暟鎹瀛﹂鍩熶腑寰堝父瑙...
绛旓細鐖櫕鎶鏈槸鍋氱綉缁滄暟鎹噰闆嗙殑銆傜綉缁滅埇铏紙鍙堢О涓虹綉椤佃湗铔涳紝缃戠粶鏈哄櫒浜猴紝鍦‵OAF绀惧尯涓棿锛屾洿缁忓父鐨勭О涓虹綉椤佃拷閫愯咃級锛屾槸涓绉嶆寜鐓т竴瀹氱殑瑙勫垯锛岃嚜鍔ㄥ湴鎶撳彇涓囩淮缃戜俊鎭殑绋嬪簭鎴栬呰剼鏈傚彟澶栦竴浜涗笉甯镐娇鐢ㄧ殑鍚嶅瓧杩樻湁铓傝殎銆佽嚜鍔ㄧ储寮曘佹ā鎷熺▼搴忔垨鑰呰爼铏傜埇铏妧鏈渶涓哄父瑙佺殑搴旂敤灏辨槸鑾峰彇缃戠珯涓婄殑鍚勭淇℃伅锛屼緥濡傛柊闂汇...
