python3如何利用requests模块实现爬取页面内容的实例详解
本篇文章主要介绍了python3使用requests模块爬取页面内容的实战演练，具有一定的参考价值，有兴趣的可以了解一下
1.安装pip
我的个人桌面系统用的linuxmint，系统默认没有安装pip，考虑到后面安装requests模块使用pip，所以我这里第一步先安装pip。
$ sudo apt install python-pip安装成功，查看PIP版本：
$ pip -V2.安装requests模块
这里我是通过pip方式进行安装：
$ pip install requests
运行import requests，如果没提示错误，那说明已经安装成功了！
检验是否安装成功
3.安装beautifulsoup4
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。
$ sudo apt-get install python3-bs4注：这里我使用的是python3的安装方式，如果你用的是python2,可以使用下面命令安装。
$ sudo pip install beautifulsoup44.requests模块浅析
1）发送请求
首先当然是要导入 Requests 模块：
>>> import requests然后，获取目标抓取网页。这里我以下为例：
>>> r = requests.get('http://www.gxlcms.com/article/124421.htm')这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法，所以举一反三你也可以将其替换为put、delete、post、head。
2）传递URL参数
有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。
举例来说，当我们google搜索“python爬虫”关键词时，newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ，那么你可以使用如下代码：
>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}
>>> r = requests.get("https://www.google.com/search", params=payload)3）响应内容
通过r.text或r.content来获取页面响应内容。
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.textRequests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别，简单说：
resp.text返回的是Unicode型的数据；
resp.content返回的是bytes型也就是二进制的数据；
所以如果你想取文本，可以通过r.text，如果想取图片，文件，则可以通过r.content。
4）获取网页编码
>>> r = requests.get('http://www.cnblogs.com/')
>>> r.encoding
'utf-8'5）获取响应状态码
我们可以检测响应状态码：
>>> r = requests.get('http://www.cnblogs.com/')
>>> r.status_code
2005.案例演示
最近公司刚引入了一款OA系统，这里我以其官方说明文档页面为例，并且只抓取页面中文章标题和内容等有用信息。
演示环境
操作系统：linuxmint
python版本：python 3.5.2
使用模块：requests、beautifulsoup4
代码如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'
import requests
import bs4
#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'
#抓取页码内容，返回响应对象
response = requests.get(url)
#查看响应状态码
status_code = response.status_code
#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')
print(status_code)
print(element)程序运行返回爬去结果：
抓取成功
关于爬去结果乱码问题
其实起初我是直接用的系统默认自带的python2操作的，但在抓取返回内容的编码乱码问题上折腾了老半天，google了多种解决方案都无效。在被python2“整疯“之后，只好老老实实用python3了。对于python2的爬取页面内容乱码问题，欢迎各位前辈们分享经验，以帮助我等后生少走弯路。
绛旓細涓嶆槸鍙湁python鍙互鍋氱埇铏紝鍙槸python鐢ㄧ潃绠鍗曪紝鎵浠ョ敤python鍐欑埇铏殑浜哄銆傛瘡涓涓甫鏈夎闂簰鑱旂綉鍔熻兘鐨勭紪绋嬭瑷锛岄兘鍙互鍋氱埇铏傚涓涓嬬埇铏父鐢ㄧ殑涓や釜搴擄紙涓涓彂缃戠粶璇锋眰鐨requsets搴擄紝涓涓缃戦〉杩斿洖鐨勪俊鎭繘琛屽垎绫荤殑BeautifulSoup锛夛紝瀛︿細鐢ㄩ偅鍑犱釜鍑芥暟銆傚鏋滀綘鑳芥帉鎻″涔犳柟娉曪紝鑰屼笖涓嶈娌夎糠浜庣爺绌堕偅涓...
绛旓細绗竴姝ワ紝鎴戜滑鍏堟潵瀹夎Python锛屼笅杞藉湴鍧鏄細,鍦ㄤ笅杞藉畬鎴愪箣鍚庯紝涓鐩寸偣鍑讳笅涓姝ュ氨OK浜嗐傚湪瀹夎瀹屾垚涔嬪悗锛屾墦寮鎺у埗鍙帮紝杈撳叆鈥淧ython鈥濓紝鎴戜滑鑳藉鐪嬪埌涓嬮潰鐨勬晥鏋滐細绗簩姝ワ紝鎴戜滑瀹夎pip銆傛垜浠悓鏍烽渶瑕鍦≒ython鐨勫畼缃戜笂鍘讳笅杞斤紝涓嬭浇鍦板潃鏄細 锛氫笅杞藉畬鎴愪箣鍚庯紝瑙ｅ帇鍒颁竴涓枃浠跺す锛岀敤CMD鎺у埗鍙拌繘鍏ヨВ鍘嬬洰褰曪紝杈撳叆锛py...
绛旓細鍦ㄤ唬鐮佷腑锛屾垜浠渶瑕佺敤try-except璇彞鏉ュ寘鍥村苟鎹曡幏鐩稿簲鐨勫紓甯搞備笅闈㈡槸涓涓緥瀛愶紝鍏堟劅鍙椾笅瀹冪殑椋庨獨 Python 1 2 3 4 5 6 7 import urllib2 requset = urllib2.Request('http://www.xxxxx.com')try:urllib2.urlopen(requset)except urllib2.URLError, e:print e.reason 鎴戜滑鍒╃敤浜 urlopen鏂规硶璁块棶...
绛旓細浣犺繖涓猽rl閲岄潰鐨勫崟寮曞彿鐢ㄧ殑鏈夐棶棰樺憖锛屽鏋滅敤鍗曞紩鍙烽偅澶栧洿灏辩敤鍙屽紩鍙凤紝閲岄潰濂楀崟寮曞彿锛屾垨鑰呬笉鐢紝浣犺繖閮界敤鍗曞紩鍙凤紝搴旇浼氭姤閿欑殑銆
绛旓細浠栨病鏈requments閰嶇疆鏂囦欢锛屼綘娌″姙娉曠洿鎺ip install -r 鍙互寤虹珛涓涓櫄鎷熺幆澧冿紝鐒跺悗杩愯涓涓嬶紝宸摢涓ā鍧楋紝灏卞湪铏氭嫙鐜閲岄潰瑁呬笂锛涙垨鑰呰椤圭洰鐨勬墍鏈変汉锛岀粰浣犳彁渚況equments閰嶇疆鏂囦欢
绛旓細浣犵粰鐨勫艰秴鍑哄垪琛ㄨ寖鍥翠簡銆備緥濡備綘鐨勫垪琛ㄥ彧鏈2涓厓绱狅紝浣犺皟鐢ㄧ殑鏃跺欐煡鐪嬩簡绗笁涓厓绱犲氨浼氭姤杩欎釜閿欍傜湅鏍峰瓙浣犳槸璋冪敤绗竴涓厓绱狅紝閭ｅ氨鏄繖涓垪琛ㄦ病瀹氫箟锛熷仛涓獁lanacname=[]鐨勫畾涔夎瘯璇
绛旓細NSObject 鍒涘缓瀵硅薄鐨勬椂鍊欑敤 + (id)alloc 鏂规硶 鍒涘缓鍚庨渶瑕乮nit鏂规硶鍒濆鍖 杩欎釜init鎸囩殑鏄墍鏈夊墠闈㈡槸init鐨勬柟娉曟瘮濡俇IView鐨勫垵濮嬪寲鏂规硶鏄 - (id)initWithFrame:(CGRect)aRect 鍦∣bjc閲屾湁寰堝杩欐牱鍏充簬鍑芥暟鍛藉悕鐨勭害瀹 绫讳技浜鍦╬ython涓殑鍑芥暟__xxxNSString 瀛楃涓 NSArray 鏁扮粍 NSDictionary 瀛楀吀 杩欎簺閮介渶瑕佸紕寰...
绛旓細python鏄痯ython,c#鏄痗#锛岃偗瀹氫笉鑳借繍琛屽晩銆傚氨鍍忎綘鎵惧巻鍙茶佸笀闂墿鐞嗛棶棰樸
绛旓細urllib2.urlopen(requset)except urllib2.URLError, e:print e.reason 鎴戜滑鍒╃敤浜 urlopen鏂规硶璁块棶浜嗕竴涓笉瀛樺湪鐨勭綉鍧锛岃繍琛岀粨鏋滃涓嬶細[Errno 11004] getaddrinfo failed 瀹冭鏄庝簡閿欒浠ｅ彿鏄11004锛岄敊璇師鍥犳槸 getaddrinfo failed 2.HTTPError HTTPError鏄疷RLError鐨勫瓙绫伙紝鍦ㄤ綘鍒╃敤urlopen鏂规硶鍙戝嚭涓涓姹...
