@xlx9765
2017-05-17T02:28:01.000000Z
字数 299
阅读 143
基于对人民的名义的兴趣,在开始做这个作业的时候选择了爬取豆瓣中关于人民的名义的短评部分,代码如下:
但是运行失败,豆瓣拥有反爬虫机制,运行过程和结果如下:
失败后,想换一下作业,选择爬取安居客成都房价信息,
代码如下:
运行失败,结果如下:
同样是反爬虫机制导致爬取失败。
然后我选择爬取链家房价信息爬取,代码如下:
运行失败,结果如下:
有些崩溃,都是由于反爬虫机制导致爬取信息失败,于是乎,恍然明白老师这两个选做作业的意图,反反爬虫机制。的确,在爬取信息时不可避免遇到反爬虫的问题,我们也应掌握这一技能。目前正在学习如何爬取拥有反爬虫爬取的网站,我会尽快完成作业。