Azure Storage系列之数据迁移

    再来谈一谈Azure storage的数据迁移问题，当我们需要把数据迁移到storage的时候，我们其实有很多种方式可以选择，每种方式适用的场景是不一样的，总结起来的话可以分为以下这些

        网络传输

• • 图形化界面

  • AzCopy

  • PowerShell

  • CLI

  • SDK 

  • Azure Data Factory

        物理传输

• • Azure Import/Export

  • Azure Databox

    我们可以选择的方式不少，但是具体哪种合适，还是要case by case来看

    首先，网络传输一个最大的弊端就是速度较慢，稳定性差，如果我们有大规模的数据需要传输到云上的话（比如10T+），建议最好不要使用网络传输，速度不可控，对带宽依赖性非常强，并且还有传输中断的风险，对于这种大规模数据，更推荐使用Azure import/Export这种物理方式进行传输，直接把数据拷贝到硬盘里，加密之后直接寄送到数据中心，速度绝对是要快得多的

    其次，如果数据量比较少的话，那么网络传输比物理传输优势会更明显，在这么多种网络传输的方案里，更推荐使用azcopy，azcopy出来的时间已经很久了，目前经过一个大版本的更新后，现在最新版是azcopy v10，v10的使用比以前要更简单，还能支持使用Azure AD进行身份验证

    Global有一张图其实可以很好地指引我们如何选择数据传输的方式

    当然，除此之外其实还有一些第三方产品也可以使用，比如cloudberry，不过这种产品很多都是付费的，有兴趣的可以试下

    接下来，我们会重点介绍下AzCopy的使用，AzCopy v10和以前相比一个很大的不同是它不需要安装，它只是一个可执行文件，所以只需要拷贝到服务器上就可以运行

    AzCopy v10的下载地址如下：

    https://aka.ms/downloadazcopy-v10-windows

    使用这个地址每次下载到的都会是最新版本的azcopy

    如果说我们想下载固定版本的azcopy的话，可以首先获取azcopy的固定url，每次下载时使用此url进行下载即可

    在Windows 10上可以直接用curl获取相关的信息

    (curl https://aka.ms/downloadazcopy-v10-windows -MaximumRedirection 0 -ErrorAction silentlycontinue).RawContent

    下载完成后，即可看到azcopy的真容

    在进行数据的拷贝之前，我们先了解下azcopy进行身份验证的方式。总体来说，azcopy支持两种身份验证方式，Azure AD和SAS，这和以前版本的azcopy是完全不一样的，以前的azcopy是直接用storage的key来做身份验证的，但是azcopy v10里更推荐的是使用SAS和Azure AD

    我们可以用AzCopy完成很多数据拷贝的任务，涵盖多种场景，功能非常强大，接下来我们就准备拿实际的案例来说明下到底什么时候最应该用azcopy以及azcopy到底怎么用

    1.本地文件/文件夹->storage

    2.storage->本地文件/文件夹

    3.storage->storage

    4.S3->storage