架构师特刊之大数据平台架构-序

未分类

序言

当笔者一开始就将大数据技术和金钱庸俗地扯上关系时，相信不少开发者和读者是不屑的，然而这里仅仅谈笔者在全球架构师峰会深圳站记录的两笔足以惊讶的账：

Twitter机器学习平台组负责人郭晓江：我们上了大规模的在线学习的东西之后，把整个Twitter的营收提高了大概30%左右，这对于Twitter是几十亿美金的business，30%是一个非常非常可观的数字，而且超越了所有算法工程师这么多年加起来的努力。

阿里巴巴速卖通技术部总监郭东白：（基于大数据的全球电商系统性能优化）我们把订单增加了10.5%，这一年白花花的银子相当于白来的（例如一年的GMV是10亿美金，现在变成了11亿），直接回报是非常大的，这个项目给整个AliExpress每年带来了数亿美金的回报。

对于体量已经非常庞大的企业，大数据技术依旧能给它们带来可观的利润提升，这也许是我们可见的最直观的大数据价值。

相信在这个大数据引领变革的时代，不少开发者和企业都眼红大数据技术能给自身带来怎样的利益。大数据听起来似乎深奥遥远，然而以机器学习和广告为例，广告优化所需要的大数据机器学习算法等知识只需要上过Andrew N的机器学习课就已经足够，但无论是Twitter还是Google、 Facebook都投入了无数的人才和资源，就是要把机器学习做到系统规模化和服务规模化，而支撑起系统规模化和服务规模化关键就是各互联网企业所努力搭建的大数据平台。

回到大数据本身，虽然企业推动自身大数据技术发展的动机不同，但实践起来无非以下三步：

1. 依托企业资源获取海量的用户行为，归纳提炼为数据；

2. 凭借现有的大数据技术对数据全量挖掘分析；

3. 根据企业的不同需求开发对应的应用

作为用户的我们也许只关心企业在第3步中为我们提供了怎样的服务，例如个性化推荐音乐、与人工智能对弈等等；但作为大数据开发者应当了解大数据平台的建设是贯穿每一个环节的，唯有认真学习与实践才能在开发的每一步中提高效率和降低成本。

因此在本期技术特刊中我们总结了酷狗、美团、Airbnb的大数据平台架构实践范例，以及携程、IFTTT、卷皮等公司业务结合大数据平台的架构分析，希望读者能通过不同的角度从中收获到搭建大数据平台知识。

最后，互联网天生为大数据提供了极易获取数据的平台，我们正处于大数据技术爆炸疯狂的最好时代，也处于处处被记录牺牲隐私的最差时代，我们唯有顺势而为沉淀技术，才不至于被这个充满机遇和挑战的新时代提前淘汰。

ArchSummit组委会