[关闭]
@xlx9765 2017-05-17T02:28:01.000000Z 字数 299 阅读 143

人民的名义及成都房价爬取实验报告--继续学习中


基于对人民的名义的兴趣,在开始做这个作业的时候选择了爬取豆瓣中关于人民的名义的短评部分,代码如下:
此处输入图片的描述
但是运行失败,豆瓣拥有反爬虫机制,运行过程和结果如下:
此处输入图片的描述
此处输入图片的描述

失败后,想换一下作业,选择爬取安居客成都房价信息,
代码如下:
此处输入图片的描述
运行失败,结果如下:
此处输入图片的描述
同样是反爬虫机制导致爬取失败。
然后我选择爬取链家房价信息爬取,代码如下:
此处输入图片的描述
运行失败,结果如下:
此处输入图片的描述

有些崩溃,都是由于反爬虫机制导致爬取信息失败,于是乎,恍然明白老师这两个选做作业的意图,反反爬虫机制。的确,在爬取信息时不可避免遇到反爬虫的问题,我们也应掌握这一技能。目前正在学习如何爬取拥有反爬虫爬取的网站,我会尽快完成作业。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注