微博数据爬取进展

微博 社交网络

爬取内容

本次爬取的微博数据主要分为两种：

• 新浪微博用户数据
• 新浪微博数据

新浪微博用户数据

新浪微博用户数据指的是在注册的新浪微博用户的基本信息，其相关字段如下表所示：

字段编号	字段名称	样例	备注
1	用户ID	3206382260	唯一标识符
2	屏幕名	朴珍熙典雅风范潮流	微博昵称
3	性别	女
4	VIP描述
5	自我介绍	时尚能穿越每个人的心态来创造无数的礼服！
6	地区	海外 马来西亚
7	用户名	3206382260	相同于用户ID
8	关注	956
9	粉丝	235
10	微博	357
11	工作	北大方正集团有限公司 职位：总经理
12	教育	大学 北京市国际艺术学校 (2011年)
13	头像	http://tp1.sinaimg.cn/3206382260/180/5679743696/0
14	加V	0
15	标签	花样美男，美图摄影，星座运势，名人明星，视频音乐
16	生日	1994年4月8日
17	QQ
18	Msn
19	Email
20	创建时间
21	关注列表	3978888470,5062300354,...,2776171413	关注列表并不全
22	会员	0
23	达人	0
24	等级	4

其中21关注列表字段中可以反映其社交关系

3978888470
    "5062300354,3913403164,...,5112611320"
3978741405
    "5083239194,5077390877,...,5079654241"
...
...

新浪微博数据

新浪微博数据指的是某用户发出的某条微博的详细信息，其相关字段如下表所示：

爬取进度

新浪微博用户数据：

• 613万条
• 2.03G
• 更新时间：2014年4月23日——2014年6月1日

新浪微博数据：

• 约1200万条
• 3.95G
• 更新时间：2016年3月10日——2016年3月21日
• 微博起止时间：2013年11月1日——更新时间

数据分析

微博现有注册用户超过5亿，2015年Q2季度月活跃用户约2.12亿。

取2014年5月23日更新的104000个用户进行社交网络分析：

• 去重后的数据量大约为8万条
• 涉及微博用户数量为245万3852个
• 仅保留入度大于等于2的节点1187个

通过分簇可以看到这些节点大致形成了3个主要的社群和其他的一些零散的边缘节点：

中心度分析

以入度作为参数对着1187个节点进行K-Cores中心度分析：

A k-core of a graph G is a maximal connected subgraph of G in which all vertices have degree at least k. Equivalently, it is one of the connected components of the subgraph of G formed by repeatedly deleting all vertices of degree less than k. If a non-empty k-core exists, then, clearly, G has degeneracy at least k, and the degeneracy of G is the largest k for which G has a k-core.
——Wiki

其中各点的核数占比如下：

A vertex  μ  has coreness k if it belongs to a k-core but not to any (k+1)-core
——Wiki

• 2 Core： 294个 绿色
• 3 Core： 526个 红色
• 4 Core： 335个 蓝色
• 5 Core： 32 个 粉色

由上两图可以看出，这1187个节点至少形成了7个凝聚子群，2个高密度团块。

连通度和集团分析

进行中……