Es7.x数据迁移实战（Snapshot、S3）
前面文章写过ES的迁移方案，不同场景使用不同的迁移方案会事半功倍，今天咱们就来具体操作一下基于Snapshot方式来迁移数据，Snapshot更加适用于大数据量跨集群迁移数据。并且索引创建快照的过程是增量的。在给索引创建快照的过程中，Elasticsearch会分析存储在仓库中的索引文件并且只会复制那些自从上次快照 之后新建或有所更新的文件。这使得多个快照以一种紧凑的方式存储在同一个仓库里。创建快照的过程是以非阻塞方式执行的。一个索引在创 建快照的同时能够被检索和查询。尽管如此，快照保存的是在开始进行创建快照的那个时间点的索引的视图。所以，在开始创建快照之后的记录不会出现在这个快照里。在主分片启动之后创建快照的过程就会立即开始，并且之后不会改变位置。
开门见山，直接上操作，咱们使用Kibana可视化桌面来操作，当然也可以直接使用CURL的方式。
安装S3插件除了S3，也可以使用本地存储fs等，进入docker容器。
安装插件
./bin/elasticsearch-plugin insyall repository-s3exit1.2.3.4.重启容器(不建议这样安装，万一容器挂了重新启动后就会没有，建议使用挂载的方式)。
查看是否安装成功。
显示这样表明安装成功，一般情况下插件版本是和ES的版本对应的
创建仓库创建仓库之前咱们先把minio的AK、SK在后台配置(安全)，以同样的方式进入docker中
添加后退出重启(不建议)。
然后开始创建仓库。
{
"type": "s3",
"settings": {
"bucket": "stock",
"protocol": "http",
"disable_chunked_encoding": "true",
"endpoint": "172.0.0.1:9000"}
}1.2.3.4.5.6.7.8.9.10.验证是否创建成功。
{
"stock_backup": {
"type" : "s3",
"settings": {
"bucket" : "stock",
"disable_chunked_encoding" : "true",
"endpoint" : "172.0.0.1:9000",
"protocol" : "http"}
}
}1.2.3.4.5.6.7.8.9.10.11.12.13.此时，仓库已经创建好了，咱们直接备份数据。
备份全量备份。
部分备份，例如：只备份其中的index。
当然也可以添加参数：
indices： 要本分的index，逗号分割。max_wait: 最大等待时间。wait_interval: 等待间隔。wait_for_completion： 参数指定创建snapshot的请求是否等待快照创建完成再返回。ignore_unavailable： 把这个选项设置为 true 的时候在创建快照的过程中会忽略不存在的索引。默认情况下， 如果没有设置 ignore_unavailable 在索引不存在的情况下快照请求将会失败。include_global_state： 为false 能够防止 集群的全局状态被作为快照的一部分存储起来。默认情况下，如果快照中的1个或多个索引不是全部主分片都可用会导致整个创建快照的过程失败。 通过设置 partial 为 true 可以改变这个行为。{
"indices": "dec_default_news,dec_default_rate,dec_default_ha",
"ignore_unavailable": true,
"include_global_state": false}1.2.3.4.5.6.查看备份状态。
查看单个
{
"snapshots": [
{
"snapshot" : "default_all",
"uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
"version_id" : 7080199,
"version" : "7.8.1",
"indices": [
"dec_default_news",
"dec_default_rate",
"dec_default_ha"],
"include_global_state" : false,
"state" : "SUCCESS",
"start_time" : "2022-04-02T03:16:09.842Z",
"start_time_in_millis" : 1648869369842,
"end_time" : "2022-04-02T03:16:09.842Z",
"end_time_in_millis" : 1648869369842,
"duration_in_millis" : 0,
"failures": [ ],
"shards": {
"total" : 3,
"failed" : 0,
"successful" : 3}
}
]
}
GET _snapshot/stock_backup/_all?pretty #查看所有
{
"snapshots": [
{
"snapshot" : "default_all",
"uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
"version_id" : 7080199,
"version" : "7.8.1",
"indices": [
"dec_default_news",
"dec_default_rate",
"dec_default_ha"],
"include_global_state" : false,
"state" : "SUCCESS",
"start_time" : "2022-04-02T03:16:09.842Z",
"start_time_in_millis" : 1648869369842,
"end_time" : "2022-04-02T03:16:09.842Z",
"end_time_in_millis" : 1648869369842,
"duration_in_millis" : 0,
"failures": [ ],
"shards": {
"total" : 3,
"failed" : 0,
"successful" : 3}
}
]
}1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.此时已经备份成功。
恢复咱们的操作是跨集群的数据迁移，同样的操作，在另一个集群里面创建相同的仓库
{
"type": "s3",
"settings": {
"bucket": "stock",
"protocol": "http",
"disable_chunked_encoding": "true",
"endpoint": "172.0.0.1:9000"}
}1.2.3.4.5.6.7.8.9.10.然后看下现在有备份数据。
{
"snapshots": [
{
"snapshot" : "default_all",
"uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
"version_id" : 7080199,
"version" : "7.8.1",
"indices": [
"dec_default_news",
"dec_default_rate",
"dec_default_ha"],
"include_global_state" : false,
"state" : "SUCCESS",
"start_time" : "2022-04-02T03:16:09.842Z",
"start_time_in_millis" : 1648869369842,
"end_time" : "2022-04-02T03:16:09.842Z",
"end_time_in_millis" : 1648869369842,
"duration_in_millis" : 0,
"failures": [ ],
"shards": {
"total" : 3,
"failed" : 0,
"successful" : 3}
}
]
}1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.发现已经存在了备份的数据，此时只需要恢复就行。
{
"acknowledged" : true}1.2.3.4.等待执行结束就OK。
大功告成。
