Microsoft发布Azure Data Factory v2可视化工具的公开预览版

语言开发 Microsoft

摘要： 继去年九月发布了Microsoft Azure Data Factory（ADF）第二版（v2）的公共预览版之后，近期Microsoft继续跟进，发布了该服务新的可视化工具的公开预览版。

作者： Martin Abbott

正文：

继去年九月发布了Microsoft Azure Data Factory（ADF）第二版（v2）的公共预览版之后，近期Microsoft继续跟进，发布了该服务新的可视化工具的公开预览版。

在前期发布的ADF v2服务中，添加了对下列功能的支持：

• 新的调度功能，支持一次运行（Run-Once）和复杂调度场景。
• 增加了对条件循环（Conditional Looping）等复杂工作流的控制能力。
• 支持用于数据出入（Ingress/Egress）的Web端点。
• 支持在基于云的Integration Runtime中执行SSIS软件包。

但是在去年九月发布ADF v2服务时，并未提供可视化工具，依然需要手工创建ADF v2组件和流水线。最新发布的可视化工具，使v2版服务具备了和以前版本相同的功能。

新的可视化工具是基于Web的。对于已部署的Azure Data Factory，需要在Azure门户上加载。

工具在启动后，提供以下功能：

• 创建新的ADF流水线。允许用户通过拖放可视化接口构建处理流水线，并支持复杂分支、计算组件（例如HDInsight和Azure Data Lake Analytics）。流水线中可添加一些基于Web的新数据源，也支持更多的传统数据源，例如Azure SQL Database和文件。

• 创建新的ADF复制（Copy）流水线。与ADF v1中使用的自动过程一样，允许用户选取源数据集和目标数据集，快速地创建一个复制流水线。当前，ADF v2的源数据支持33种数据源，包括Amazon Redshift、Oracle和SAP HANA等；目标数据支持13种数据源，包括部分Azure服务，以及Oracle和Salesforce等。

• 配置新的SSIS Integration Runtime。允许用户在Azure SQL Database中创建新的SSIS Integration Runtime，以支持在云升级转换（Lift-and-Shift）场景下执行SSIS软件包。据Microsoft宣称，只要满足数据源连接性和可用性要求，本地部署（On-Premises）的SSIS软件包同样可在Azure中正常执行。

• 配置Git软件库。允许用户配置ADF实例和Visual Studio Team Services账户间的连接性。但目前尚不支持软件库以GitHub作为宿主。

为支持复制活动和计算任务卸载（Offloading），ADF v2还提供了一种同时支持基于Azure（Azure-based）或本机（Self-Hosted）运行的Intergration Runtime组件类型。具体使用哪一种方式，取决于数据源和计算资源的位置。

图片来源：https://docs.microsoft.com/en-us/azure/data-factory/concepts-integration-runtime

Self-Hosted Integration Runtime可用于集成本地部署资源，它替代了上一版ADF中推出的On-Premises Data Management Gateway组件。该组件可以下载并安装在Windows系统中，目前尚不支持任何Linux系统。对于运行在ADF v2服务上的Azure-based Integration Runtime组件，至少需要关联两个节点才能实现本地部署组件的高可用性，目前最多可以关联四个节点。

该可视化工具的发布，弥补ADF v2发布后一直缺失的易用性。Microsoft的大数据管理解决方案，意在抗衡Software AG webMethods、 Talend Big Data Platform或Hitachi Pentaho的类似方案，同时在Azure Logic Apps、Mulesoft或Dell Boomi等工具之外，为用户另提供了一种iPaaS（集成平台即服务，Integration Platform as a Service）工具选择，解决了原有iPaaS工具并不能很好地适用于大规模和大批量数据的问题。

在Azure上运行的SSIS Integration Runtime，给出了SSIS软件包的迁移路径。这样，Microsoft具备在云平台服务上继续使用本地部署投资的能力。

当前，Azure Data Factory v2工作负载可部署到East US、East US2和West Europe数据中心，但服务依然是公开预览版的。

使用ADF服务的详细信息，可参考Microsoft官方文档。在Microsoft自己的媒体频道上，也提供了演示工具基本使用的视频。

查看英文原文： Microsoft Releases Azure Data Factory V2 Visual Tools in Public Preview