anyuan2002.com - vwin网

查找: 您的方位主页 > 网络频道 > 阅览资讯:怎样运用python处理网站的反爬虫?

怎样运用python处理网站的反爬虫?

2016-11-23 04:59:40 来历:www.anyuan2002.com 【

怎样运用python处理网站的反爬虫?

本文具体介绍了网站的反爬虫战略,在这儿把我写爬虫以来遇到的各种反爬虫战略和应对的办法总结一下。

从功能上来讲,爬虫一般分为数据收集,处理,贮存三个部分。这儿咱们只谈论数据收集部分。

一般网站从三个方面反爬虫:用户恳求的Headers,用户行为,网站目录和数据加载办法。前两种比较简单遇到,大多数网站都从这些视点来反爬虫。第三种一些运用ajax的网站会选用,这样增大了爬取的难度(避免静态爬虫运用ajax技能动态加载页面)。

1、从用户恳求的Headers反爬虫是最常见的反爬虫战略。

假装header。许多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链便是检测Referer)。假如遇到了这类反爬虫机制,能够直接在爬虫中增加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或许将Referer值修正为方针网站域名[谈论:往往简单被疏忽,经过对恳求的抓包剖析,确认referer,在程序中模仿拜访恳求头中增加]。关于检测Headers的反爬虫,在爬虫中修正或许增加Headers就能很好的绕过。

2、根据用户行为反爬虫

还有一部分网站是经过检测用户行为,例如同一IP短时间内屡次拜访同一页面,或许同一账户短时间内屡次进行相同操作。[这种防爬,需求有足够多的ip来应对]

(1)、大多数网站都是前一种状况,关于这种状况,运用IP署理就能够处理。能够专门写一个爬虫,爬取网上揭露的署理ip,检测后悉数保存起来。有了很多署理ip后能够每恳求几回替换一个ip,这在requests或许urllib中很简单做到,这样就能很简单的绕过第一种反爬虫。

编写爬虫署理:

过程:

1.参数是一个字典{'类型':'署理ip:端口号'}
proxy_support=urllib.request.ProxyHandler({})
2.定制、创立一个opener
opener=urllib.request.build_opener(proxy_support)
3a.装置opener
urllib.request.install_opener(opener)
3b.调用opener
opener.open(url)

用很多署理随机恳求方针网站,应对反爬虫

#! /usr/bin/env python3.4
#-*- coding:utf-8 -*-
#__author__ == "tyomcat"


import urllib.request
import random
import re

url='http://www.whatismyip.com.tw'
iplist=['121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843']

proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(.*?)</h2>')
iterms=re.findall(pattern,html)
for item in iterms:
 print(item[0]+":"+item[1])

(2)、关于第二种状况,能够在每次恳求后随机距离几秒再进行下一次恳求。有些有逻辑缝隙的网站,能够经过恳求几回,退出登录,从头登录,持续恳求来绕过同一账号短时间内不能屡次进行相同恳求的约束。[谈论:关于账户做防爬约束,一般难以应对,随机几秒恳求也往往或许被封,假如能有多个账户,切换运用,效果更佳]

3、动态页面的反爬虫

上述的几种状况大多都是呈现在静态页面,还有一部分网站,咱们需求爬取的数据是经过ajax恳求得到,或许经过Java生成的。

处理计划:Selenium+PhantomJS

Selenium:自动化web测验处理计划,彻底模仿实在的浏览器环境,彻底模仿基本上一切的用户操作

PhantomJS :一个没有图形界面的浏览器

获取淘宝妹妹的个人概况地址:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
#__author__ == "tyomcat"

from selenium import webdriver
import time
import re

drive = webdriver.PhantomJS(executable_path='phantomjs-2.1.1-linux-x86_64/bin/phantomjs')
drive.get('https://mm.taobao.com/self/model_info.htm?user_id=189942305&is_coment=false')

time.sleep(5)

pattern = re.compile(r'<div.*?mm-p-domain-info">.*?class="mm-p-info-cell clearfix">.*?<li>.*?<label>(.*?)</label><span>(.*?)</span>',re.S)
html=drive.page_source.encode('utf-8','ignore')
items=re.findall(pattern,html)
for item in items:
 print item[0],'http:'+item[1]
drive.close()

感谢阅览,希望能协助到咱们,谢谢咱们对本站的支撑!


本文地址:http://www.anyuan2002.com/a/question/83963.html
Tags: python 处理 站的
修改:vwin网
m88 188bet uedbet 威廉希尔 明升 bwin 明升88 bodog bwin 明升m88.com 18luck 188bet unibet unibet Ladbrokes Ladbrokes casino m88明升 明升 明升 m88.com 188bet m88 明陞 uedbet赫塔菲官网 365bet官网 m88 help
关于咱们 | 联络咱们 | 友情链接 | 网站地图 | Sitemap | App | 回来顶部