[关闭]
@Cleland 2020-03-23T05:59:53.000000Z 字数 5462 阅读 622

10-3:Requests 和 Scrapy 中的代理 IP 设置

AI悦创 爬虫 公众号:AI悦创


摘要: Requests 和 Scrapy 中的代理 IP 设置方法。

你好,我是悦创。

公众号:AI悦创

上一篇文章我们介绍了随机 UserAgent 的设置方法,本文介绍如何在 Requests 和 Scrapy 中设置代理 IP。

目标测试网页如下,请求该网页可以返回当前 IP 地址:

∞ http://icanhazip.com

先来说说 Requests 中如何设置代理 IP。

▌不使用代理

先来看一下不使用代理 IP 的情况:

  1. import requests
  2. url = 'http://icanhazip.com'
  3. try:
  4. response = requests.get(url) #不使用代理
  5. print(response.status_code)
  6. if response.status_code == 200:
  7. print(response.text)
  8. except requests.ConnectionError as e:
  9. print(e.args)

运行上面的程序,会返回我们电脑本机的 IP,可以通过百度查询 IP 地址对比一下就知道了。

  1. 200
  2. 124.238.223.xxx # 后三位隐去了
  3. [Finished in 0.8s]

在这里插入图片描述

▌使用代理

然后我们测试一下使用代理后的情况。

常见的代理包括 HTTP 代理和 SOCKS5 代理,前者可以找一些免费代理 IP 进行测试,由于我电脑上使用的是 Shadowsocks,所以就介绍一下 SOCKS5 代理的设置。

启动该软件后默认会在 1080 端口下创建 SOCKS5 代理服务,代理为:127.0.0.1:1080,然后我们在 Requests 中使用该代理,方法很简单只需要添加一项 proxies 参数即可:

  1. proxies = [
  2. {'http':'socks5://127.0.0.1:1080'},
  3. {'https':'socks5://127.0.0.1:1080'}
  4. ]
  5. proxies = random.choice(proxies)
  6. print(proxies)
  7. url = 'http://icanhazip.com'
  8. try:
  9. response = requests.get(url,proxies=proxies) #使用代理
  10. print(response.status_code)
  11. if response.status_code == 200:
  12. print(response.text)
  13. except requests.ConnectionError as e:
  14. print(e.args)

这里,proxies 参数是字典类型,键名'http' 表示协议类型,键值 'socks5://127.0.0.1:1080'表示代理,这里添加了 http 和 https 两个代理,这样写是因为有些网页采用 http 协议,有的则是采用 https 协议,为了在这两类网页上都能顺利使用代理,所以一般都同时写上,当然,如果确定了某网页的请求类型,可以只写一种,比如这里我们请求的 url 使用的是 http 协议,那么使用 http 代理就可以,random 函数用来随机选择一个代理,我们来看一下结果:

  1. {'http': 'socks5://127.0.0.1:1080'}
  2. 200
  3. 45.78.42.xxx #xxx表示隐去了部分信息

可以看到,这里随机选择了 http 协议的代理后,返回的 IP 就是我真实的 IP 代理地址,成功代理后就可以爬一些墙外的网页了。

延伸一下,假如随机选择的是 https 代理,那么返回的 IP 结果还一样么?我们尝试重复运行一下上面的程序:

  1. {'https': 'socks5://127.0.0.1:1080'}
  2. 200
  3. 124.238.223.xxx

可以看到这次使用了 https 代理,返回的 IP 却是本机的真实 IP,也就是说代理没有起作用。

进一步地,我们将 url 改为 https 协议 'https://icanhazip.com',然后再尝试分别用 http 和 https 代理请求,查看一下结果:

  1. #http 请求
  2. {'http': 'socks5://127.0.0.1:1080'}
  3. 200
  4. 124.238.223.xxx
  5. #https 请求
  6. {'https': 'socks5://127.0.0.1:1080'}
  7. 200
  8. 45.78.42.xxx

可以看到,两种请求的结果和之前的刚好相反了,由于 url 采用了 https 协议,则起作用的是 https 代理,而 http 代理则不起作用了,所以显示的是本机 IP。

因此,可以得到这样的一个结论:

HTTP 代理,只代理 HTTP 网站,对于 HTTPS 的网站不起作用,也就是说,用的是本机 IP。

HTTPS 代理则同理。

▌使用付费代理

上面,我们只使用了一个代理,而在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个 IP,一种是使用付费的 IP 代理,免费的 IP 往往效果不好,那么可以搭建 IP 代理池,但对新手来说搞一个 IP 代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费 IP,几块钱买个几小时动态 IP,多数情况下都足够爬一个网站了。

这里推荐一个付费代理「阿布云代理」,效果好也不贵,如果你不想费劲地去搞 IP 代理池,那不妨花几块钱轻松解决。

在这里插入图片描述

首次使用的话,可以选择购买一个小时的动态版试用下,点击生成隧道代理信息作为凭证加入到代码中。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

将信息复制到官方提供的 Requests 代码中,运行来查看一下代理 IP 的效果:

  1. import requests
  2. # 待测试目标网页
  3. targetUrl = "http://icanhazip.com"
  4. def get_proxies():
  5. # 代理服务器
  6. proxyHost = "http-dyn.abuyun.com"
  7. proxyPort = "9020"
  8. # 代理隧道验证信息(复制刚刚购买的)
  9. proxyUser = "HZ0U76M8U9C0H42D"
  10. proxyPass = "73D5760707263409"
  11. proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
  12. "host" : proxyHost,
  13. "port" : proxyPort,
  14. "user" : proxyUser,
  15. "pass" : proxyPass,
  16. }
  17. proxies = {
  18. "http" : proxyMeta,
  19. "https" : proxyMeta,
  20. }
  21. for i in range(1,6):
  22. resp = requests.get(targetUrl, proxies=proxies)
  23. # print(resp.status_code)
  24. print('第%s次请求的IP为:%s'%(i,resp.text))
  25. get_proxies()

可以看到每次请求都会使用不同的 IP,是不是很简单?比搞 IP 代理池省事多了。

以上,介绍了 Requests 中设置代理 IP 的方法,下面我们接着介绍在 Scrapy 中如何设置。
在这里插入图片描述

▌middlewares.py 中设置

这种方法需要先在 middlewares.py 中设置代理 IP 中间件:

  1. import random
  2. class ProxyMiddleware(object):
  3. def __init__(self, ip):
  4. self.ip = ip
  5. @classmethod
  6. def from_crawler(cls, crawler):
  7. return cls(ip=crawler.settings.get('PROXIES'))
  8. def process_request(self, request, spider):
  9. ip = random.choice(self.ip)
  10. request.meta['proxy'] = ip
  11. logging.debug('Using Proxy:%s'%ip)

接着,需要在 settings.py 添加几个在西刺上找的代理 IP,格式如下:

  1. PROXIES = [
  2. 'https://127.0.0.1:8112',
  3. 'https://119.101.112.176:9999',
  4. 'https://119.101.115.53:9999',
  5. 'https://119.101.117.226:9999']

然后,我们仍然以 "http://icanhazip.com" 为目标网页,运行 Scrapy 项目重复请求 5 次,查看一下每次返回的 IP 情况:

  1. def start_requests(self):
  2. items = []
  3. for i in range(1,6):
  4. item = yield scrapy.Request(self.cate_url,callback=self.get_category)
  5. items.append(item)
  6. return items
  7. def get_category(self, response):
  8. print(response.text)

结果如下:
在这里插入图片描述

可以看到部分 IP 成功请求得到了相应,部分 IP 则无效请求失败,因为这几个 IP 是免费的 IP,所有失效很正常。

▌使用付费代理

接下来我们使用阿布云付费代理,继续尝试一下,在 middlewares.py 中添加下面的代码:

  1. """ 阿布云ip代理配置,包括账号密码 """
  2. # 阿布云scrapy 写法
  3. import base64
  4. proxyServer = "http://http-dyn.abuyun.com:9020"
  5. proxyUser = "HS77K12Q77V4G9MD" # 购买后点击生成获得
  6. proxyPass = "4131FFDFCE27F104" # 购买后点击生成获得
  7. # for Python3
  8. proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8")
  9. class AbuyunProxyMiddleware(object):
  10. """ 阿布云ip代理配置 """
  11. def process_request(self, request, spider):
  12. request.meta["proxy"] = proxyServer
  13. request.headers["Proxy-Authorization"] = proxyAuth
  14. logging.debug('Using Proxy:%s'%proxyServer)

由于,在阿布云购买的是最基础的代理,即每秒 5 个请求,因为 Scrapy 默认的并发数是 16 个,所以需要对 Scrapy 请求数量进行一下限制,可以设置每个请求的延迟时间为 0.2s ,这样一秒就刚好请求 5 个,最后启用上面的代理中间件类即可:

  1. """ 启用限速设置 """
  2. AUTOTHROTTLE_ENABLED = True
  3. DOWNLOAD_DELAY = 0.2 # 每次请求间隔时间
  4. DOWNLOADER_MIDDLEWARES = {
  5. #'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, #启用随机UA
  6. #'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 100, #启用随机UA
  7. 'wandoujia.middlewares.AbuyunProxyMiddleware': 200, # 启用阿布云代理
  8. #value值越小优先级越高
  9. }

然后同样地请求 5 次,查看每次请求返回的 IP :
在这里插入图片描述

可以看到,每个 IP 都顺利请求成功了,所以说付费地效果还是好。

▌使用 scrapy-proxies 库代理

除了上述两种方法,我们还可以使用 GitHub 上的一个 IP 代理库:scrapy-proxies,库的使用方法很简单, 三个步骤就可以开启代理 IP。

首先,运行下面命令安装好这个库:

  1. pip install scrapy_proxies

然后,在 Scrapy 项目中的 settings.py 文件中,添加下面一段代码:

  1. RETRY_TIMES = 3 # 自定义请求失败重试次数
  2. #重试的包含的错误请求代码
  3. RETRY_HTTP_CODES = [500, 503, 504, 400, 403, 404, 408]
  4. DOWNLOADER_MIDDLEWARES = {
  5. 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
  6. 'scrapy_proxies.RandomProxy': 100,
  7. 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
  8. }
  9. PROXY_LIST = r'/proxies.txt' # proxy 代理文件存放位置,此处为程序所在磁盘根目录下
  10. PROXY_MODE = 0 # 每次请求都使用不同的代理

最后,需要提供多个代理 IP,我们在西刺上随便找几个 IP,然后存放在 PROXY_LIST 指定的 txt 文件中即可,格式如下:

  1. https://119.101.112.176:9999
  2. https://119.101.115.53:9999
  3. https://119.101.117.53:999

然后重复之前的操作,查看代理 IP 的设置效果。

我在使用该库的过程中,发现有一些问题,不知道是配置不对还是怎么回事,效果不是太好,所以推荐使用前两种方法。

好,以上就是在 Requests 和 Scrapy 中使用代理 IP 的方法总结,如果爬虫项目不大、追求稳定且不差钱的话,建议直接上付费代理。

更多系列文章关注公众号:AI悦创,并加入交流群。

到这里,我们用了三篇文章介绍 Scrapy 框架,下一篇文章以一个实战项目来练习一下。
此处输入图片的描述

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注