电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: python--爬虫--获取和解析存储网页内容--以薄荷网为例（6） [打印本页]

作者: look_w 时间: 2019-5-16 15:02 标题: python--爬虫--获取和解析存储网页内容--以薄荷网为例（6）

11、异常处理

r = requests.get('http://httpbin.org/get')
r.status_code
if r.status_code == requests.codes.ok：
print("ok")
else:
r.raise_for_status()

通过Response.raise_for_status() 来抛出异常,如果r 的 status_code 是 200 ，当我们调用 raise_for_status() 时，得到的是：

>>> r.raise_for_status()
None

12、重定向

>>> r = requests.get('http://github.com', allow_redirects=False)
>>> r.status_code
301
>>> r.history
或者
>>> r = requests.head('http://github.com', allow_redirects=True)
>>> r.url
'https://github.com/'
>>> r.history
[<Response [301]>]

13、超时

>>> requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

14、cookie和模拟登录相关
参考
http://cn.python-requests.org/en/latest/user/advanced.html#advanced

15、代理

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

HTTP Basic Auth代理

proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}

16、socks模式代理

proxies = {
'http': 'socks5://user:pass@host:port',
'https': 'socks5://user:pass@host:port'
}

17、重试次数
如果使用get等简单形式，默认会重试3次
重试只有在DNS解析错误、链接错误、链接超时等异常是才重试。在比如读取超时、写超时、HTTP协议错误等不会重试
使用重试会导致返回的错误为MaxRetriesError，而不是确切的异常

import requests
from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
s.mount('https://', HTTPAdapter(max_retries=3))

s.get('http://example.com', timeout=1)

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)