社交大数据new hire start

平台目前有什么

功能上：
1. 用户和圈子等级计算
2. 几个排行榜（包括用户，鸽舍等。。。）
3. 打算做标签，但目前应该社交的还没有

技术上：
1. 华为云MRS为主
2. 每天晚上从生产环境获取全部数据进行计算。
3. 目前以Spark SQL为主
4. 对外提供服务的方式有两种 1. Dubbo 接口 2. 提供数据库。

未来想做什么

1. 各种统计排行。（有的是为业务，有的是为技术）
2. 为将来运营需要的数据准备交互式统计的环境。
3. Feed流推荐及其它相关推荐。

未来期望的技术框架

1. 用PreditionIO做为业务功能的技术框架
2. 计算资源还是华为云的
3. 数据不要从生产环境直接取，而是需要的数据存在计算平台上，这样各种交互计算不影响线上业务。
4. 对外提供的服务走PreditionIO的服务，不必提供Dubbo等接口。

建议的步骤

1. 熟悉PreditionIO
2. 熟悉华为云的MRS
3. Dev环境建立，只需要能验证功能就可以了。
4. 申请华为云QA环境ECR（Spark程序和数据的提交可以用OBS客户端）
5. 实现某个排行榜计算， 验证流程打通。

参考资料

PreditionIO简单分析
华为云MRS资料
机器学习与社交推荐（草稿）