100+案例！揭秘Apple、Google等千亿市值企业的架构设计

未分类

头图：

作者：8折只剩4天的

摘要：ArchSummit 8折报名优惠只剩4天！

阅读原文：百格

正文：

最近几年，耳熟能详的"BAT"都在大谈基础设施转型，例如百度的 Apollo 自动驾驶平台，例如提供计算和数据处理能力的阿里云，例如定位为合作伙伴提供连接一切能力的微信。但当看似“BAT”的体量与技术能力达到了中国互联网的上限时，后起之秀如"TMD"（头条、美团、滴滴）以各自深耕多年的技术底蕴和业务体系也成了世界一方巨擘。

毫无疑问，中国互联网企业技术水平与硅谷的整体差距越来越小，某些方面甚至有赶超之处。在大数据&人工智能风口下，无论国内还是国外，都可以看出大企业的技术实践难度都在加大，于是大量失败和教训默默重复和隐藏在各企业内，国内外成功的经验难以传播、借鉴和参考。

在这背景下，ArchSummit 全球架构师峰会将于7月6-9日深圳举行，已邀请了国内外知名企业的技术专家前来分享其核心架构实践经验，目前邀约已接近尾声，第一天日程如下：

可通过识别上方二维码进一步了解大会完整日程，以下简单介绍部分嘉宾的分享内容，相信届时与国内外上百技术专家、千名技术同行交流的你，肯定会有独到的体会和思考。

Apple机器学习专家

刘磊，Apple机器学习专家，在ArchSummit 深圳站上将有两场分享，内容详见大会日程。

长期带领团队从事AI、机器学习的研发和软件架构。在研和已完成项目包括：数据管理中机器学习核心技术、大规模数据分类、推荐系统、社会网络挖掘、网络僵尸病毒检测、可穿戴数据挖掘、基于传感器数据的个性化健康、基于大数据的教育系统。

研究成果获得或已提交美国专利40多项，发表论文30余篇。

分享内容：机器学习在多源传感器数据上的应用

随着手机、智能手表和生物传感器等便携式设备的普及，数字化自跟踪技术近几年已获得长足发展。同样，用于监测、存储和分析人类自跟踪数据的信息管理系统设计也在不断的优化。

和以往任何时候相比，由于技术的快速发展，使得收集生物数据和生理数据这个过程变得越来越容易，例如心电图(ECG)、血氧饱和度(SpQ2)、心率(HR)、脑电波信号(EEG)、皮肤电反应(GSR)、血压、含氧量、体温等等。这些自跟踪数据可以帮助我们通过监测和分析，来更好理解个体的健康状况。正因为此，挖掘传感数据中的隐含价值受到越来越多工业和学术界的关注。

本次分享聚焦在介绍机器学习平台在传感数据中的应用，对利用多源传感器数据结合机器学习技术来检测人体行为项目做详细介绍。

分享提纲

1. 机器学习在多源传感数据上应用的背景介绍

2. 机器学习平台和架构

   a 系统架构&预处理和特征工程

   b 建模和离线性能评估&在线部署、评估和模型更新

3.挑战和项目收获

a 稀疏数据与数据缺失问题

b 数据分布不均衡问题

c 时序行为模式分析

4.总结和应用挑战

a 警察局自动监测系统里的连续行为识别

b 老年人紧急状况监测，预警系统

Google深度神经网络推荐系统负责人

Dekun Zou，Google研究院资深研发工程师，负责深度学习的研发并产品化，在ArchSummit 深圳站上将有两场分享，内容详见大会日程。

负责研发多个基于深度神经网络的推荐系统，包括Android应用商店、Google广告排名。加入Google研究院之前曾就职于Apple，再之前供职于亚马逊云计算（AWS）。

具有10多年研究经验，涉猎机器学习、计算机视觉、视频以及图像处理诸多领域。在国际杂志和会议上发表了20多篇论文，也是20多项美国专利的主要发明人。

分享内容：深度学习在大规模推荐系统中的应用

随着电子商务和在线服务越来越普及，海量在线资源很多时候多到让用户无从选择，因此推荐系统的质量变得至关重要。

传统的线性回归方法在很多系统里应用广泛，只不过，随着深度神经网络在图像视觉领域的突破，很多研究人员开始利用神经网络搭建深度推荐系统，推荐质量显著超越传统基于线性回归系统，同时也简化了以往搭建推荐系统所需专家知识(domain knowledge)。

深度推荐系统被广泛应用于Google多项面向用户的产品，一次又一次的突破质量瓶颈。此次演讲会由浅入深探讨如何构建基于深度学习的推荐系统，并讨论最新的技术发展。

分享提纲

1. 传统线性回归方法&深度学习优势

2. 信号类别

   a 场景信号：当前场景相关的信息

   b 用户信号：用户特征，用户历史信息，

   c 物件信号：排序模型物件的特征

3. 两步定制化推荐

   a 深度挖掘，生成候选人列表

   b 混合人工生成的候选人，最终排序

4. 模型训练模式

   a 离线，根据系统日志 （适用于大系统，海量用户）

   b 在线，强化学习（小量用户，快速迭代）

5. user vector， item vector （swivel model）

   a 预生成的用户向量降低推断延时

   b 超大规模物件向量的学习（稀疏问题）

6. 损失函数的构造

Facebook Software Engineer Manager

徐斌，在Facebook带领Business Integrity的机器学习团队和机器平台架构团队，在ArchSummit 深圳站上将有一场分享和一场深度培训，内容详见大会日程。

主要任务是确保Facebook的用户和Facebook上所有商业业务之间的诚信沟通。这些商业业务存在于广告、市场、社团/群组、粉丝专页等等。

在进入Facebook前，在Microsoft担任首席机器学习工程经理，带领技术团队开发云安全解决方案，实现对异常现象的检测，并保护客户在云中的身份、数据和应用的安全。再此前在Amazon工作10年，率领多个应用科学家团队处理交易风险管理工作。

分享内容：机器学习技术在安全性和完整性方面的探索

随着电子商务崛起、云计算爆发，社交网络大面积普及化，商业业务创新和开展越来越容易，我们能轻而易举使用大规模资源和服务，全球化信息互动和共享已经可以同步。

但信息安全和商业诚信问题却不断增加，面对每天超过PB级的不平衡和模糊大数据，实时机器学习和解决方案面临着巨大的挑战。这样的要求在各个领域越来越多，促发了许多突破性的研究成果和应用。

本次分享会快速浏览一些安全问题，然后讲述一下机器学习平台，重点讲解能够处理当下棘手问题的相关先进技术和解决方案以及真实的应用效果。最后会分享几个最近机器学习在安全应用上的特别案例。

分享提纲

1. 交易欺诈滥用、云计算安全以及其他商业诚信问题

2. 机器学习平台和架构

   a 离线构建，在线部署，反馈机制

   b 数据和特征工程

   c 平行 v.s 垂直模型结构

   d 传统分类 v.s 深度学习

3. 挑战和切身教训

   a 非平衡数据

   b 处理模糊性：半标签和无标签

   c 冷启动问题

4. 应用 1: 机器学习在交易风险管理方面的实践

5. 应用 2: 机器学习在云安全方面的实践

Netflix首席软件工程师

Yunong 目前是 Netflix 的首席软件工程师，带领 Netflix API 平台设计和架构团队。在此前任职于 AWS 和 Joyent，主要方向是分布式系统，并帮助规划和构建了多款云计算产品，例如 AWS IAM 和 Manta。与此同时，他也在维护开源项目 Node.JS 框架的校正。

演讲内容：Going FaaSter: Function as a Service at Netflix

FaaS 变革像风暴一般拓展到全球。事实上，因为企业都喜欢 FaaS 所带来的 No-Ops，或者说在工程效率上的突出表现，FaaS 带来的变革可以在一线开发者领域迅速扩展，能够帮助工程师们更快速地将代码部署到产品上。

在 Netflix，这些功能特性对于 Netflix API 平台来说简直是完美符合，工程师们用 JavaScript 来写代码并部署到 tier-1服务层，整个过程不是完全必须要去管理基础架构设施或者运维。

然而，还是有很多权衡之处需要考虑，传统的 FaaS 理念或者做法在今天看来，更适合那些对延迟要求不高的任务。但是，对于延迟很敏感，对可靠性以及可弹性扩展要求较高的任务来说，FaaS 还需要再优化。

通过本次分享，你将了解到 Netflix FaaS 平台的架构和内部构成。

微信Yard平台及流量实验X平台负责人

文杰，微信技术架构部专家工程师。2005年入职腾讯，曾参与主导搜索引擎，分布式存储，分布式计算等多个项目的整体架构。2013年加入微信，现任技术架构部下大数据平台团队负责人，主导微信两项基础平台：微信资源调度Yard平台和微信流量实验X平台的研发。

分享内容：微信背后万级机器的管理者Yard平台

微信每天承载数百亿条的消息收发，支撑着微信功能的后台服务也多达数万个，如何确保这些在线服务的稳定可用和可控，是资源管理系统面临的一大挑战。

与此同时，AI技术方兴未艾，围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多，对内部计算、存储、网络等资源提出了大量的需求，如何充分利用好服务器资源，高效调度各类计算作业，合理编排不同维度的资源组合也是资源调度系统的一个重要目标。

本主题阐述了微信的资源调度系统Yard如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战，分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

分享提纲

1. 微信后台资源管理发展历程

2. 在线服务和离线作业的资源抢夺战

3. 微信资源调度系统Yard

   a 系统架构

   b 资源隔离的“舍”与“得”

   c 调度的AI

   d 网红Docker在Yard中的应用

   e 踩过的“坑”与“坑”外的思考

4. 成果展示&未来展望

微众银行区块链首席架构师

张开翔，FISCO BCOS平台架构师。曾在腾讯工作多年，在分布式系统，网络安全，海量服务等技术领域有丰富的经验。目前致力于区块链平台系统建设、以及推动基于区块链的业务落地。

分享内容：金融业务中区块链技术架构解析

分布式商业以多方参与、智能协同、专业分工、价值分享等为主要特征，典型的应用场景有银证信保的多方产品合作、N+N供应链金融、分布式能源、分布式电商以及各类共享经济等。

随着分布式商业兴起，以区块链为代表的分布式账本技术价值逐渐凸显。具备“构建信任”能力的区块链技术，不仅可用于公有链，也能在联盟链中发挥巨大的效能。

在高安全、高性能、合法合规的金融场景里，对区块链技术的研究和创新业务模式的开展，会遇到大量的挑战，这次演讲会深入剖析区块链的底层技术和架构优化之道，分享业务落地的探索历程，以及开源社区运营的经验。通过技术和业务的努力，直面挑战，把区块链真正的使用到金融业务中。

分享提纲

1. 展望业界，介绍区块链技术和架构发展概况

2. 从密码学、数据、网络共识等方面解析区块链底层技术

3. 分析区块链技术在性能、安全、隐私、应用落地等方面面临的挑战和解决之道

   a 直面分布式系统不可能三角，在保证一致性、事务性、稳定性的前提下，突破瓶颈，提升系统性能

   b 建设立体安全体系，从通信、存储、权限等多方面保障系统安全

   c 平衡公开透明和隐私保护的诉求，通过架构优化、密码学、合作模式选择等多种形式保护商业隐私

   d 从底层扩展区块链协议和功能，为业务开发和运营提供便利

4. 分享FISCO BCOS的平台建设，以及两个具体落地案例分享

天猫智慧门店技术专家：吕滨

分享内容：“智慧门店”背后的技术架构探索

在门店的商品、交易、会员、客流数字化过程中，虽然背靠成熟的、已有的电商系产品技术方案，但现实仍然很残酷。目前商家面临的主要痛点是：有门店缺客流，有粉丝无转化，有会员难互动。面对这些困难，天猫提出面向全域消费者运营的"智慧门店"解决方法。

如何从千人一策，实现精准营销？如何从在店成交，实现离店销售？如何从私人关系，实现组织连接？面对复杂的线下网络环境，天猫如何消灭那不到百分之一的投诉？

在经历了2017年双十一，2018年618等几次考验后，天猫也逐渐摸索出了一条实践之路，和宝贵经验。

分享提纲

1. 背景、命题、方案

2. 门店数字化：消费者体验升级

   a 在线下单，门店履约

   b 到店购物，全域互动

3. 门店数字化：商家赋能

   c 消费者沉淀，运营

   d 交易转化，数据沉淀

4. 面临的挑战

   a 红包不好发，弱网检测与飞行模式

   b 数据说清楚，面向组织架构的统计

   c 保障生命线，微服务的稳定性优化

5. 小步快跑，敏捷的背后

蚂蚁金服Node.js技术专家

不四，网名死马，现就职于蚂蚁金服体验技术部，专注在 Node.js 领域 6 年，搭建了阿里巴巴和蚂蚁金服内部 Node.js 模块管理系统、中间件服务等基础设施，负责内部 Node.js Web 框架的研发和开源。同时也是开源爱好者，Node.js Web 框架 Koa.js 和 Egg.js 的核心开发者，cnpm 中国镜像维护者。

分享内容：企业级 Node.js Web 框架研发与落地

Node.js在Web应用中扮演越来越重要的角色，框架是其中的重中之重（要解决规范、效率、性能、安全等等问题）。Egg.js（开源） 是阿里和蚂蚁联合研发的企业级 Node.js Web 框架，不仅让使用者可以更轻松的使用 Node.js 进行 Web 研发，同时也支持让团队架构师基于 Egg.js 打造更适合团队的框架。

这次演讲将会介绍基于蚂蚁是怎样在 Egg.js 之上搭建贴合自身业务形态的研发模式以及在这个过程中的实战经验。

分享提纲

1. 使用 Node.js 进行企业级 Web 研发会遇到的问题

2. Egg.js 是什么，我们如何使用它来构建 Web 应用

3. 蚂蚁在使用 Node.js 实践前后端分层架构中的经验分享

更多ArchSummit现场分享

• Facebook万亿级混合复杂时空数据的处理决策

• IBM：Istio-构造、守护、监控微服务的守护神

• Pinterest大数据平台：现在与未来

• Go项目组战略及产品负责人：GO，一个正在全球化现象

• 前Tesla视觉深度学习负责人：自动驾驶的计算机视觉技术

• 腾讯织云Metis时间序列异常检测全方位解析

• 阿里跨境业务动态广告算法迭代

• 菜鸟全球跨域RPC架构设计

• 余额宝1.7万亿资金背后的大规模服务化技术创新

• 今日头条大型直播互动系统的设计与实践

• 网易严选售后服务架构演变实践

• 微博：AI时代精准的个性化推荐

• 滴滴地图引擎架构实践和AI技术应用

目前ArchSummit 8折报名仅剩最后4天，识别二维码或点击阅读原文可立即报名！

PS：联系小助手豆包可获取更多优惠（微信：aschina666，或致电010-84780850）。