由于公司与AWS签了项目合作,因此一些在阿里云上面的业务需要迁移到AWS云上面。但是由于系统运行了很久,因此有很多资源都不能在AWS上面直接重新部署,需要通过各种迁移工具来保证迁移的完整性以及效率。服务器方面的迁移工作我用的是CloudEndure。使用方法可以参照这篇。本次介绍的是使用AWS CLI实现Aliyun OSS迁移到AWS S3的方法。
  本次要用到的工具是Amazon-s3-resumable-upload,为GitHub上面的一个开源项目。包括单机版,无服务器版和集群版。因为源站是在阿里云,所以我们这里使用单机版来进行迁移任务。

1.迁移工具Amazon-s3-resumable-upload

  
  据GitHub项目地址介绍,单机版有以下几个特点:

1.单机运行

  能运行Python的地方都能运行,无Python环境也可使用打包版本。

2.自动遍历

  自动遍历下级子目录,也可以指定单一文件拷贝

3.断点续传

  不用担心网络中断或Down机

4.多线程

  充分压榨带宽

  单机版架构图如下:

OSStoS3

2.部署迁移环境

1.安装Python3 & SDK

  该工具需要先安装 AWS SDK boto3,如果需要从阿里云OSS拷贝,则还需要安装阿里 SDK oss2。注意这里安装的是Python3.如果不想一个个安装觉得麻烦的话,这里还有一键安装脚本ec2_init.sh

  yum update -y
  yum install git
  amazon-linux-extras install python3
  pip3 install --upgrade pip --user
  pip3 install boto3
  pip3 install oss2

2.配置访问凭证

  使用一个具有权限访问对应的S3的IAM角色,通过命令 aws configure 来键入Access_Key等,确保区域是和S3桶的区域相同。

3.下载并配置迁移脚本

  下载迁移脚本并确保两个文件在同一目录下。

  wget https://s3.cn-north-1.amazonaws.com.cn/myworkshop-lxy/oss-to-s3/s3_upload.py
  wget https://s3.cn-north-1.amazonaws.com.cn/myworkshop-lxy/oss-to-s3/s3_upload_config.ini

  修改其中的config文件。

  #credentials
  [default]
  region = <your region>
  aws_access_key_id = <your access key id>
  aws_secret_access_key = <your secret key>

  #OSS源设置
  ali_SrcBucket = "your bucket name"  # 阿里云OSS 源Bucket,对于 LOCAL_TO_S3/S3_TO_S3 则本字段无效
  ali_access_key_id = "xxxxxxxxxxx"  # 阿里云 RAM 用户访问密钥
  ali_access_key_secret = "xxxxxxxxxxxx"
  ali_endpoint = "oss-cn-beijing.aliyuncs.com"  # OSS 区域 endpoint,在OSS控制台界面可以找到

  如下图所示,该配置文件还可以设置更多细化的筛选等操作。但我们这里只修改两个地方,其他的都选择默认就好。

OSSmigration

3.进行任务迁移

  该迁移工具第一次是进行全量迁移,再次执行的话则是增量迁移。在运行迁移工具前首先验证一下AWS CLI是否正常工作。可以在EC2上执行命令aws s3 ls查看桶列表。

awss3ls

  然后执行命令

  python3.8 s3_upload.py --nogui

  由于我已经迁移过一次了,所以本次执行是增量迁移,已有的文件会显示已存在然后跳过。至此迁移任务完成,S3上已经完整复制了OSS上的内容。

S3mission

Q.E.D.

知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议