[关闭]
@coder-pig 2018-04-02T11:51:28.000000Z 字数 4894 阅读 2844

小猪的Python学习之旅 —— 14.爬虫实战:抓取豆瓣音乐Top 250数据存到Excel中

Python


一句话概括本文

利用Excel存储爬到的抓取豆瓣音乐Top 250数据信息,还有读Excel。


引言

失踪人口回归,最近比较迷茫,不知道是回头深究Android,还是继续
学Python,Android是旧爱,Python是新欢;Android应用层折腾来
折腾去,无非:改UI,写控件,换下库,换下架构...以前一直想着写
自己的项目,然后各种加东西优化,然后发现自己却没有了当年的热情,
唉!相比Python,随手就是一爬虫,批处理类的脚本,实用性高太多,
只是Python没有引路人,都是自己一点点摸索,见步走步吧!

之前在写爬小姐姐脚本时候,就遇到过一个如何存储爬取到数据的问题,
比如一个系列的套图链接应该放到特定的文件夹,我之前的操作都是
通过下面这样的格式写入到一个txt文件中:目录~链接
然后读取txt文件,获得字符串,然后通过split("~")来进行分隔,
split("~")[0]是目录,split("~")[1]是路径,挺low的,
如果是涉及到三个维度以上的再拼多一个~,在上上一节抓
半次元coser的时候就遇到一个恶心的问题,符号都他么被用了,
难以分隔,一个个特殊字符试,后面试到Θ才可以..

迫切需要一个东西来存我们抓取到的数据,当然最好用:数据库
但是考虑到学习成本(主要是我不熟!),先通过一个简单的东西存起来。

最简单的肯定是通过Excel表格啊,最直观了,非编程人员也能看懂!
不多说,开始本节内容~ 本节抓取例子:豆瓣音乐 Top 250
链接:https://music.douban.com/top250


1.编写抓数据脚本


依次校验

链接规则

第一页https://music.douban.com/top250?start=0
第二页https://music.douban.com/top250?start=25
第三页https://music.douban.com/top250?start=50

链接规则显而易见,每25条一页,0,25,50,75...225

请求头

就一个:Host:music.douban.com

模拟请求的套路摸清了,接下来就是处理网页拿到想要的数据了:
看下Element,不难发现数据都单独放在一个个table里:

点开其中一个:

先捋下我们想采集到的数据:

图片链接歌名歌手发行时间分类评分评分人数歌曲详情页

然后就是慢慢抠数据了,自己私下抠,不会抠找以前文章看,
这里直接给出代码:

看下控制台打印出来的信息

可以,没毛病,接下来看下怎么把数据写到excel表格里~


2.如何将数据写入到Excel中

Step 1:安装库,操作Excel,你需要两个库:xlwt(写Excel) 和 xlrd(读Excel)
命令行pip安装一波。

  1. sudo pip3 install xlwt
  2. sudo pip3 install xlrd

Step 2熟悉几个基本函数

写入Excel

  1. sheet.write(0,0,"姓名")
  2. sheet.write(0,1,"学号")
  3. sheet.write(1,0,"小猪")
  4. sheet.write(1,1,"No1")

得到的表格:

读取Excel


3.编写一个Excel协助类

基本语法了解得差不多了,接着我们来写一个工具类,来把我们爬虫
爬取到的数据写入到Excel表格里,四个方法:
style:根据传入的字体名称,高度,是否加粗,返回一个Style样式
__init__:完成Excel表的一些初始化操作,初始化表头
insert_data:把爬取到的数据插入到Excel里的方法
read_data:读取Excel里数据的方法

接着一步步来,先是style方法

接着是__init__方法,判断Excel文件是否存在,不存在则新建并进行初始化

再接着是insert_data:

最后是read_data:

代码不算复杂,接着写下调用代码试试:

加一个打印data_group的方法,看下抓取的数据,运行下:

没毛病,圈住哪里[[,这里想表达结果是一个大列表嵌套多个列表
再接着添加下述代码:

执行后可以看到,生成了一个dbyy.xlsx的文件,打开看看:

啧啧,写入成功,美滋滋!
再接着把无关代码注释掉,调用下读取Excel的方法:

读写都没问题,嘤嘤嘤~


4.小结

本节讲解了一波如何把爬取到的数据存到Excel表里,以及读取Excel表里的数据,
虽然没有数据库高端,但是比起之前用分隔符分隔多中类型的数据,用到的时候
split()好多了,而且非开发者也能直接看懂,除此之外,哪天说不定可以撩到
一些文员小姐姐(编写批处理Excel表的脚本),除此之外还可以做些词频统计类
的脚本玩玩,最后献上哲♂学启蒙老师照片来结束本节内容,愿天堂没有摔跤:


附:具体实现代码(其实都可以在https://github.com/coder-pig/ReptileSomething 找到)

  1. import re
  2. import requests
  3. import xlwt
  4. import xlrd
  5. import tools as t
  6. rate_count_pattern = re.compile("(\d*人评价)", re.S) # 获取评分人数的正则
  7. base_url = 'https://music.douban.com/top250'
  8. save_file = 'dbyy.xlsx'
  9. # 解析网页获得数据的方法
  10. def parse_url(offset):
  11. resp = requests.get(base_url, params={'page': offset})
  12. print("解析:" + resp.url)
  13. result = []
  14. if resp.status_code == 200:
  15. soup = t.get_bs(resp.content)
  16. tables = soup.select('table[width="100%%"]')
  17. for table in tables:
  18. a = table.find('a')
  19. detail_url = a['href'] # 歌曲详情页面
  20. img_url = a.img['src'] # 图片url
  21. music_name = a.img['alt'] # 歌曲名
  22. p = table.find('p')
  23. data_split = p.get_text().split("/")
  24. singer = data_split[0].strip() # 歌手
  25. public_date = data_split[1].strip()
  26. category = "" # 分类
  27. for data in data_split[2:]:
  28. category += data.strip() + "/"
  29. div = table.find('div', class_="star clearfix")
  30. score = div.select('span.rating_nums')[0].text # 评分
  31. rate_count = rate_count_pattern.search(div.select('span.pl')[0].get_text()).group(0) # 评分人数
  32. result.append([img_url, music_name, singer, public_date, category, score, rate_count, detail_url])
  33. return result
  34. class ExcelHelper:
  35. def __init__(self):
  36. if not t.is_dir_existed(save_file, mkdir=False):
  37. # 1.创建工作薄
  38. self.workbook = xlwt.Workbook()
  39. # 2.创建工作表,第二个参数用于确认同一个cell单元是否可以重设值
  40. self.sheet = self.workbook.add_sheet(u"豆瓣音乐Top 250", cell_overwrite_ok=True)
  41. # 3.初始化表头
  42. self.headTitles = [u'图片链接', u'歌名', u'歌手', u'发行时间', u'分类', u'评分', u'评分人数', u'歌曲详情页']
  43. for i, item in enumerate(self.headTitles):
  44. self.sheet.write(0, i, item, self.style('Monaco', 220, bold=True))
  45. self.workbook.save(save_file)
  46. # 参数依次是:字体名称,字体高度,是否加粗
  47. def style(self, name, height, bold=False):
  48. style = xlwt.XFStyle() # 赋值style为XFStyle(),初始化样式
  49. font = xlwt.Font() # 为样式创建字体样式
  50. font.name = name
  51. font.height = height
  52. font.bold = bold
  53. return style
  54. # 往单元格里插入数据
  55. def insert_data(self, data_group):
  56. try:
  57. xlsx = xlrd.open_workbook(save_file) # 读取Excel文件
  58. table = xlsx.sheets()[0] # 根据索引获得表
  59. row_count = table.nrows # 获取当前行数,新插入的数据从这里开始
  60. count = 0
  61. for data in data_group:
  62. for i in range(len(data)):
  63. self.sheet.write(row_count + count, i, data[i])
  64. count += 1
  65. except Exception as e:
  66. print(e)
  67. finally:
  68. self.workbook.save(save_file)
  69. # 读取Excel里的数据
  70. def read_data(self):
  71. xlsx = xlrd.open_workbook(save_file)
  72. table = xlsx.sheets()[0]
  73. nrows = table.nrows # 行数
  74. ncols = table.ncols # 列数
  75. # 从第一行开始,0是表头
  76. for i in range(1, nrows):
  77. # 读取某行数据
  78. row_value = table.row_values(i)
  79. print(row_value)
  80. if __name__ == '__main__':
  81. offsets = [x for x in range(0, 250, 25)]
  82. data_group = []
  83. for offset in offsets:
  84. data_group += parse_url(offset)
  85. print(data_group)
  86. excel = ExcelHelper()
  87. excel.insert_data(data_group)
  88. excel.read_data()

来啊,Py交易啊

想加群一起学习Py的可以加下,智障机器人小Pig,验证信息里包含:
PythonpythonpyPy加群交易屁眼 中的一个关键词即可通过;

验证通过后回复 加群 即可获得加群链接(不要把机器人玩坏了!!!)~~~
欢迎各种像我一样的Py初学者,Py大神加入,一起愉快地交流学♂习,van♂转py。


添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注