[关闭]
@ArrowLLL 2017-04-06T10:55:26.000000Z 字数 1737 阅读 1999

第一个爬虫:爬取古诗中带有“月”字的诗句

python 爬虫


主页地址 :月光森林


引言

为了练习python,所以到处找资料试着写了一个自己的爬虫。因为是第一个爬虫,所以比较简单,不超过50行。主要源于爬取的网站没有什么限制而且网页排布很规律,也就没有什么技术亮点,单纯的入门爬虫而已。

爬取目标及准备

python版本:3.4.3

爬取对象: 古诗文网(so.gushiwen.org)

随便点开一个古诗文网的诗歌页面,观察它的URL地址就会发现,诗歌的地址基本由 "so.gushiwen.org/view_ + 数字 + .aspx" 构成,如下图:

古诗文网URL

通过对古诗文网的诗歌总览页面 最下方这个地方可以看出:

这里写图片描述

总共有49148篇古诗可以爬取,确定了"view_"后面数字的范围。

html页面解析库:BeautifulSoup
安装方式为: $sudo pip3 install BeautifulSoup4

主要参考文献:《python网络数据采集》第一、二章

代码及解析

  1. #!usr/bin/python3
  2. # -*- coding:utf-8 -*-
  3. import re
  4. from urllib.request import urlopen
  5. from urllib.erroe import HTTPError
  6. from bs4 import BeautifulSoup
  7. def getPage(url) :
  8. try :
  9. html = urlopen(url)
  10. except HTTPError as e :
  11. return None
  12. try :
  13. bsObj = BeautifulSoup(html)
  14. except AttributeError as e :
  15. return None
  16. return bsObj
  17. def getUrl(pg) :
  18. return ''.join(('http://so.gushiwen.org/view_', str(pg),'.aspx'))
  19. f = open('./result.txt', 'wt')
  20. for pg in range(0, 49149) :
  21. html = getPage(getUrl(pg))
  22. cont = (html.findAll('div', {'class' : 'son2'}))
  23. if cont != None and len(cont) > 1 :
  24. cont = cont[1].get_text()
  25. poem = cont[cont.find('原文:') + 4:]
  26. sentList = re.findall(r'(.*?[。!?])', poem)
  27. for sentc in sentList :
  28. if '月' in sentc :
  29. print (sentc, '\t--- <', html.find('h1').get_text(), '>', file = f)
  30. print ('--- page', pg, ' dealed ---')

getPage(url) 函数主要参考《python网络数据采集》第9页的代码。使用try...catch...防止采集页面是发生异常而使爬虫停止。

getUrl(pg) 函数主要是方便url的组成,了解join()函数是python的基础,很简单不用细说。
open() 函数用于打开文档,这里我打开一个 result.txt 的文档存放爬取的结果。
名为html的变量代表的是一个通过getPage()函数获取的BeautifulSoup对象,观察原页面可发现诗歌内容存放在一个属性“class = 'son2'”的div内,而且是html文档中第二个这样的标签(第一个这样的标签是搜索框)。

使用get_text()函数获取<div class = 'son2'> 的文字内容,整首诗存放在“原文:”的后面,故在所获的内容中找到"原文:"的位置并向后偏移3个位置加一个换行符总共4个字符,便得到了原诗的内容。

诗歌的单句以“。”, "!", "?"结尾,故将诗句拆分成单句的正则表达式为 '(.*?[。!?])' , ".*?" 表示python正则中的非贪婪模式,[]内的内容表示任选其一,()则是为了找到匹配结果并存放。

得到单句以后只需要判断"月"字是否在诗句中即可,有则输出到result.txt 中,没有则判断下一句。

print ('---page', pg, 'dealed---') 在命令行里输出爬取的状态,方便目测爬取的进度。

爬取结果

爬取结果

第一次写爬虫,献丑了。。。

以上です~

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注