欢迎光临
我们一直在努力

利用华为资源发现与评估RDA迁移对象存储

前言

资源发现与评估 (Resource Discovery and Assessment):是一个部署在Windows主机上的工具,用于评估上云驱动力和准备度,发现应用的基础设施,提供其迁移到华为云的推荐配置以及主机的一站式迁移能力。

安装包可在官网下载。

官网地址:http://www.huaweicloud-rda.com/

支持的对象存储厂商:

源端:

亚马逊云 阿里云 腾讯云 青云 七牛云 百度云 金山云 微软云 优刻得 华为云 天翼云 HTTP/HTTPS数据源

目的端:

华为云 天翼云

迁移准备

利用RDA来迁移对象存储需要创建至少两台云主机

一台用来部署RDA(Windows系统)

一台或多台作为agent机,用来中转迁移数据(必须为Linux系统、X86架构,最低配置为4H8G,带宽越大越好,迁移速度由此机器带宽决定)

RDA主机必须和数据中转主机创建在同一VPC同一安全组下( 保证安装Agent的服务器能够访问安装RDA的服务器的5679端口  )

RDA主机软件部署

官网下载安装包成功安装后,首次登录,创建一个新的用户名和密码,后会登录至控制台

  1. 选择全量视图
  1. 试用激活

迁移场景

此次实践场景为

  ucloud的对象存储(US3)迁移至  天翼云的对象存储(obs)

本次实验仅涉及对象存储的迁移,所以不需要其他过多配置,只配置对象存储选项即可。

配置Agent(中转机节点)

查看节点状态为配置成功、在线 为正常,如显示离线或状态为SSH验证失败,请检查两台机器间是否处于同一VPC之内,是否可以联通,如长期显示为离线状态请放通 agent机和Windows机 5679端口使其互通。 

配置OMS集群管理

创建迁移任务

配置源端:

选择数据源,填写访问密钥和私有访问密钥后点击连接源端桶。

如显示AK/SK无效,请勾选指定桶名选项,选择正确的桶地域和桶名称;

如还提示AK/SK无效,请检查OMS集群处填写的Endpoint是否正确。

配置目的端:

输入数据源和AK/SK后点击连接目的桶,如桶名和地域都显示正常,则可以正常迁移。

如提示AK/SK无效或者连接失败,请检查OMS集群配置的厂商和Endpoint是否正确。

设置任务参数

迁移方式

可选择三种迁移方式

1、选择文件/文件夹:可以选择需要迁移的文件夹,如不选择,默认整桶迁移。

2、指定对象列表:一般用于增量迁移场景,用户需要将待迁移的源端对象名称写入对象列表文件,并将生成的对象列表文件放在华为云OBS桶中,对象存储迁移服务将会迁移指定对象列表文件中的所有对象。 

说明

– 对象列表文件大小不能超过100MB。

– 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只 能为“text/plain”。

– 对象列表文件必须是UTF-8无BOM格式编码格式。

– 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL Encode编码。

– 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。

– 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。

– 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。

– 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和 获取。 

3、输入对象前缀:在“添加对象数据”区域内输入对象数据名称或者名称前缀,系统会自动匹配出数据。 

源端参数

如使用CDN加速了源端的对象存储,此处可以勾选此项,可以将桶自定义域名与CDN服务绑定,通过CDN下载源端数据,可降低源端云服务厂商收取的下行流量费用。

高级选项

服务端加密:对迁移数据进行KMS服务端加密后再 存储至目的OBS桶中,效率可能会降低10%,前提是当前区域支持KMS加密,否则会造成迁移失败。

保存到指定前缀:

记录失败对象:开启后如有传输失败的对象,会被记录在一个以任务名称命名的失败对象列表文件中,可以针对失败对象进行重传,关闭则只能全量重传。 

迁移指定时间后的对象:可以根据时间来过滤之传输指定时间后的对象

流量控制:可以添加多条流控规则,限制具体某些时间段内的带宽

可以根据需求选择相关的高级选项。

开始迁移

此处可检查配置信息,如无误即可开始迁移。

迁移成功

对比rclone的优劣

优点

1、支持失败对象记录重传功能,rclone只能全量重传,浪费时间和资源。

2、支持迁移指定时间后的对象,更为灵活,rclone无法配置此项

3、可以更加自由、定制化的限制传输带宽

缺点

1、仅可迁移工具支持的目的端迁移,开放性差,可能这不算缺点,毕竟云厂商的自家工具。

赞(1) 打赏
未经允许不得转载:万万没想到 » 利用华为资源发现与评估RDA迁移对象存储

登录

找回密码

注册