anyuan2002.com - vwin网

查找: 您的方位主页 > 网络频道 > 阅览资讯:爬虫简略架构

爬虫简略架构

2019-04-05 08:38:23 来历:www.anyuan2002.com 【

跟着北大理工的教师学习爬虫!

一口吃不成胖子

冲鸭!fighting!!!!!!!!

import requests
def getHTMLText(url):
  try:
    r=requests.get(url,timeout=30)
    #结构一个向服务器恳求资源的request目标
    #回来一个包括服务器资源的response目标
    r.raise_for_status()
    #假如状况不是200,引发HTTPError反常
    r.encoding=r.apparent_encoding
    return r.text
  except:
    return '发生反常'
if __name__=='__main__':
  url='http://www.baidu.com'
  print(getHTMLText(url))

解说:

requests库简略、便利,可以说是爬虫最棒的第三方库

requests库首要有7个办法

1、requests.request():结构一个恳求,支撑一下各办法的根底办法

2、requests.get():获取HTML网页的首要办法,对应于HTTP的GET

3、requests.head():获取HTML网页头信息的首要办法,对应于HTTP的HEAD

4、requests.post():向HTML网页提交post恳求的办法,对应于HTTP的POST

5、requests.out():向HTML网页提交put恳求的办法,对应于HTTP的PUT

6、requests.patch():向HTML网页提交部分修正的恳求,对应于HTTP的PATCH

7、requests.delete():向HTML网页提交删去恳求,对应于HTTP的DELETE

要点剖析:

r=requests.get(url)

结构一个向服务器恳求资源的request目标

回来一个包括服务器资源的response目标

response目标的特点:

r.status_code:HTTP恳求回来的状况,比方200代表ok

r.text:HTTP呼应内容的字符串方法,即url对应的页面内容

r.encoding:从HTTP header 中猜想的呼应内容的编码方法

r.apparent_encoding:从内容中解析处呼应内容的编码方法(备选编码方法)

r.content:HTTP相应内容的二进制方法

r.raise_for_status():假如不是200,发生反常requests.HTTPError

 

 
 

本文地址:http://www.anyuan2002.com/a/question/100285.html
Tags: 简略 架构 爬虫
修改:vwin网
关于咱们 | 联络咱们 | 友情链接 | 网站地图 | Sitemap | App | 回来顶部