4.ES迁移

Es迁移一般指将自建或其他云的ES服务迁移至华为云的对标产品CSS上，常用开源工具logstash进行迁移。默认情况logstash是根据索引名在配置文件中进行配置，从而实现全量迁移。一般情况es迁移也是全量迁移，暂时全量+增量并没有什么好的办法。另外，全量迁移，数据库索引中必须含有data时间戳（index索引可以理解为关系数据库的表，里面时间戳可以理解为表的data字段，该字段内容不能乱写），因为华为云官网关于该工具的使用已经有文档，不用反复跳转，这里不做赘述：
需要注意的是启动工具命令为：/usr/share/logstash/bin/logstash /etc/logstash/conf.d/logstash-es-es-all.conf &
工具使用：https://support.huaweicloud.com/bestpractice-css/css_07_0009.html

input{
  elasticsearch{
        # 源端集群地址。
        hosts =>  ["http://2.2.2.2:9031"]
        # 安全集群需要配置登录集群的用户名和密码，非安全集群可以使用“#”注释掉user和password。
        # user => "xxxx"
        # password => "xxxx"
        # 需要迁移的索引列表，以逗号“,”分隔，基于机器实际信息填写，“-.*”表示排除“.”开始的索引。
        index => "jrt1"
        # 以下三项保持默认即可，包含线程数和迁移数据大小和logstash jvm配置相关。
        docinfo=>true
        # 默认不变，如果需要增加迁移速度可以适当调高以下两个参数，但是需要保证机器配置。
        slices => 3
        size => 3000
    }

}
filter {
  #去掉一些logstash自己加的字段。
  mutate {
    remove_field => ["@timestamp", "@version"]
  }
}

output{
    elasticsearch{
        hosts => ["1.1.1.1:9200"]
        user => "admin"
        password => "jiao.123"
        ssl => true
        ssl_certificate_verification => false
        cacert => "/usr/share/logstash/CloudSearchService.cer"
        index => "%{[@metadata][_index]}"
        ilm_enabled => false
        manage_template => false
    }

# 调试信息，正式迁移时建议去掉调试信息。
    # stdout { codec => rubydebug { metadata => true }}
}
优化迁移速率
input里的size可以适度调大，另外，目的端集群，可以做个优化，副本数设置为0，刷新时间设置为-1可可以加快迁移速率

增量迁移
创建时间戳
https://blog.csdn.net/TreeCode/article/details/114678821
增量迁移参考
通过Logstash将自建Elasticsearch数据全量或增量迁移至阿里云 (aliyun.com)