七牛云存储数据迁移基本方案

七牛

---

作者: 金鑫鑫
邮箱: jinxinxin@qiniu.com

基本信息

---

前言

为了保证客户数据迁移的快速和安全性，任何数据迁移的需求都必须经过售前技术支持。并且由售前技术支持提供数据迁移的方案，和客户洽谈数据迁移的技术细节，执行数据迁移的操作，并且回复客户数据迁移的结果。

场景

方案	源	目的	方式	适用场景
A	客户机房	七牛云存储	使用七牛提供的数据迁移工具qrsync网间直传	网速快，数据总量小
B	客户机房	七牛机房	客户备份数据到本地，然后寄送数据硬盘给七牛机房，七牛内网上传	数据总量大超过1T
C	客户机房	七牛机房	七牛寄送空数据硬盘，客户备份数据，寄回七牛机房，七牛内网上传	数据总量大超过1T
D	又拍云	七牛云存储	使用七牛提供的数据迁移工具qrsync网间直传	网速快，数据总量小
E	又拍云	七牛机房	客户从又拍云备份数据到本地，然后参考 B 或 C 方案	数据总量大超过1T
F	阿里云	七牛云存储	使用七牛提供的数据迁移工具qrsync网间直传	网速快，数据总量小
G	阿里云	七牛机房	客户从阿里云备份数据到本地，然后参考 B 或 C 方案	数据总量大超过1T

综合分析

结合上面的迁移场景，我们可以基本得出以下方案：

1. 数据量小的，客户可以自主迁移的，建议客户使用七牛提供的数据同步工具qrsync来同步数据到七牛云存储。目前qrsync支持从客户本地，又拍云，阿里云直接进行数据同步操作。
2. 数据量大的，客户可以寄送自己的数据备份硬盘给七牛机房，然后由七牛的工程师通过内网将数据同步到七牛云存储服务器。这时需要联系客户，并告知客户寄送给七牛的数据备份盘应该遵循的分区格式和硬件接口，并且需要和客户确认两次。一次是客户准备开始数据备份的时候，要求客户遵循所告知的规格信息，另一次是要求客户提供所寄送给七牛的数据备份盘的数量，大小，规格等。这个可以做成表格让客户填写并签名。
3. 数据量大的，七牛可以提供数据备份硬盘给客户，这些硬盘经过申请备案，并经过格式化之后，寄送给客户。并出具数据备份硬盘相关的信息文档以及一些挂载方面的知识文档。客户在本地将数据备份之后，寄送回七牛机房，然后由七牛的工程师通过内网将数据同步到七牛云存储。相关方面的信息也要做出表格让客户填写并签名。

同步工具

目前我们所有的数据同步操作在服务器nb119上面执行，使用的工具是qrsync，具体的使用方式请参考相应的文档。

硬盘规格

无论是客户自己的硬盘还是七牛提供给客户的硬盘，必需满足以下的条件。

1. 硬盘接口仅支持SAS和SATA两种。
2. 硬盘格式化方式仅支持NTFS和ext4格式。

备注：如果是客户提供的硬盘，请务必注意没有经过RAID处理，否则七牛将不予接收。

七牛机房：

客户在进行数据备份完成之后，需要自行将硬盘寄送到七牛机房。

地址如下：

收件人	联系电话	机房地址
张梦超	153 8111 3786	浙江省慈溪市杭州湾新区滨海二路1188号，杭州湾科技创业服务中心 杭州湾电信数据机房。

备注:

1. 客户在寄出载有备份数据的硬盘之后，必须将快递单号发送邮件告知售前工程师做备案。
2. 原则上，七牛机房不接受到付的快递方式，建议实际操作中，和客户讲清楚，让客户自行付费，如果客户不愿意可以另行处理。

业务流程

---

客户对接

售前技术支持通过销售接到客户要求进行数据同步的请求，进行技术对接。

首先要判断一下用户的数据量大小，如果数据量不足1T的，可以和客户商量使用七牛的同步工具自行进行数据同步，如果在同步过程中，出现什么问题，可以进行技术协助。如果数据量大于1T的而且客户要求七牛帮助进行数据同步的，优先选择寄送硬盘给客户，如果客户要求的数据同步时间较紧张，并且要求寄送已有备份数据的硬盘给七牛的，也可以考虑，但是需要客户的硬盘规格和格式化方式严格遵守七牛所要求的硬盘接口规格和格式化方式，否则即使寄过来也无法处理，白白浪费时间。

我们目前七牛的硬盘大小是4T一个，所以根据客户实际数据量的大小，寄送不同数量的硬盘。

数据量	寄送设备
0~20T	寄送硬盘，5到6个硬盘
20T~40T	寄送拷箱，目前拷箱有8个硬盘位和5个硬盘位的，根据实际情况选用
> 40T	考虑寄送机器给客户，进行数据拷贝

在和客户确定完数据量大小，硬盘的规格，硬盘寄送的方式，以及客户数据备份方式，客户希望得到的文件名称，以及同步数据的空间分配等信息后，准备申请备份设备寄送。

在申请备份设备之前，和客户对接的售前工程师必须出具一份关于客户对接内容的详细报告，才能去申请备份设备，报告可以遵循固定的格式，但是没有报告，不可以申请备份设备。

设备寄送

数据备份设备的寄送需要遵循一定的流程。

1. 和客户对接的售前工程师出具数据迁移方案报告，内容包含客户的数据量大小，硬盘的规格，硬盘寄送的方式，以及客户数据备份方式，客户希望得到的文件名，以及同步数据的空间分配等信息。另外还需要写清楚申请的设备类型和数量，客户的联系信息等。
2. 售前工程师将报告提交数据迁移管理员，然后领取设备，寄送给客户。
3. 售前工程师在项目管理系统中，纪录数据迁移的相关信息及报告和设备状态，快递单号。

客户备份

1. 客户收到备份设备，然后告知售前工程师，相互协作完成数据备份。
2. 客户备份完成后，将备份设备寄送到七牛的机房，并发邮件告诉售前工程师快递单号。

七牛上传

客户在将符合规格的硬盘寄送到七牛机房之后，机房的工作人员将按照要求，将硬盘插入nb119机器上面，然后由售前技术支持工程师联系机房进行数据同步操作。

基本步骤

1. 售前工程师必须向运维部门申请七牛的VPN权限，然后通过VPN远程登录到跳板机上面；
2. 从跳板机使用qssh nb119的方式，登录到插入硬盘的机器上面；
3. 挂载磁盘；
4. 使用qrsync根据客户的需求进行数据同步