最近需要将clickhouse服务器从20.4.5.36版本升级到22.10.2.11版本，在升级的过程中遇到一些问题，特意写篇文章和大家交流下
1.升级步骤
1.停止clickhouse容器
先将使用的clickhouse所有容器停止，因为容器在运行会不停造数据，没法做到无损迁移
docker stop clickhouse-server
2.备份原来数据
如果原来挂载的数据目录是/home/admin/data/clickhouse,可以新建目录/home/admin/data/clickhouse2022,将clickhouse所有数据拷贝到clickhouse2022。
cp -r /home/admin/data/clickhouse/* /home/admin/data/clickhouse2022
原因：升级有风险，所以数据备份是必要的，因为升级是不可逆的，没法进行降级，分成两个目录，当升级失败时，至少老数据是不受影响的。
3.先升级到中间版本
直接升级到新版本会出现报错，启动不了，按照官方的建议是升级到一个中间版本（中间版本和最终版本相差不要超过1年），经过调研，21.11.2.2版本比较合适，所以先升级到此版本
docker run --restart=always \
--name clickhouse-server-2021 \
-v /home/admin/data/clickhouse2022:/var/lib/clickhouse \
-d \
--ulimit nofile=262144:262144 \
-p 8123:8123 \
clickhouse/clickhouse-server:21.11.2.2
升级成功后，等待初始化完成后（怎么判断是否初始化完成见注意事项），停止和删除容器
docker stop clickhouse-server-2021
docker rm clickhouse-server-2021
4.升级到新版本
docker run --restart=always \
--name clickhouse-server-2022 \
-v /home/admin/data/clickhouse2022:/var/lib/clickhouse \
-d \
--ulimit nofile=262144:262144 \
-p 8123:8123 \
clickhouse/clickhouse-server:22.10.2.11
注意：初始化过程中千万不要对容器进行停止，重启等操作，会破坏初始化流程，导致数据被破坏。
5.配置文件修改
进入clickhouse容器，根据具体业务修改config.xml和users.xml的配置值，也可以把其挂载出来修改，修改后重启容器
6.清理老数据（慎重，可以等一段时间观察再决定是否清理）
如果升级成功，数据无问题，可以将老的clickhouse删除，对应的/home/admin/data/clickhouse可以删除
docker rm clickhouse-server
rm -rf /home/admin/data/clickhouse
2.升级注意事项
1.数据备份前确认下磁盘空间是否足够
先确认原始数据大小和磁盘剩余空间大小，如果不够，需要扩容
2.升级到每个版本时，必须等初始化完成后才能进行stop等别的操作
一般升级到某个版本后，需要等3-5分钟才能初始化完成（可能与数据量有关系，数据量小可能比较短），确认是否初始化完成，可以进入容器目录/var/log/clickhouse-server，tail -f clickhouse-server.log
如果每隔1-2秒打印这样的数据，说明初始化已经完成，才可以停止容器进行接下来的升级。
3.数据回退方案
1.如果升级失败，需要回退到老版本，则停止掉新容器，重启老容器即可；
2.如果升级了一段时间后，发现重大问题需要回退，则需要将增量数据（或者全量数据覆盖）从LTS版本迁移到老版本，然后使用老的ck;还可以采用双写策略，新库和老库都同时写入，如果新库遇到问题，随时切换到老库，不需要做数据迁移，但是数据需要写两份，线上部署两个clickhouse服务，当业务不复杂代码改动不太大时可以考虑此方案
3.升级中的报错
1.system目录有问题
当直接从老版本通过挂载目录的方式直接升级到新版本时，会偶现该问题（当ck数据量较大时会出现），说明system库没有初始化成功，当通过中间版本过度升级，不会遇到该问题
2.url校验报错导致启动失败
2023.01.09 09:23:11.175168 [ 1 ] {} <Error> Application: Caught exception while loading metadata: Code: 36. DB::Exception: Bad hdfs url: s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet. It should have structure 'hdfs://<host_name>:<port>/<path>': Cannot attach table
alibaba.h3f35eaaa4d004d348772bf9_0from metadata file /var/lib/clickhouse/metadata/alibaba/h3f35eaaa4d004d348772bf9_0.sql from query ATTACH TABLE alibaba.h3f35eaaa4d004d348772bf9_0 (Order_IdNullable(String),Member_IdNullable(Int64),ItemnumNullable(Int64),CreatetimeNullable(DateTime),Cost_ItemNullable(Float64),Total_AmountNullable(Float64),Pmt_AmountNullable(Float64),Shipping_AreaNullable(String)) ENGINE = HDFS('s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet'): while loading databasealibabafrom path /var/lib/clickhouse/metadata/alibaba. (BAD_ARGUMENTS), Stack trace (when copying this message, always include the lines below):
这个是因为创建表结构时设置的url错误，打开这个sql文件
ATTACH TABLE h3f35eaaa4d004d348772bf9_0
(
`Order_Id` Nullable(String),
`Member_Id` Nullable(Int64),
`Itemnum` Nullable(Int64),
`Createtime` Nullable(DateTime),
`Cost_Item` Nullable(Float64),
`Total_Amount` Nullable(Float64),
`Pmt_Amount` Nullable(Float64),
`Shipping_Area` Nullable(String)
)
ENGINE = HDFS('s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet');
将这个ENGINE配置的url修改为：
HDFS('hdfs://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet');
或者
S3('s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet');
将报错的sql修改成后重启容器
原因：新版本增加了url格式校验，老版本是没有这个校验的，所以对于错误的url，校验失败后会阻塞启动
参考文章：
1.升级参考
https://clickhouse.com/docs/en/operations/update/
2.报错参考
https://github.com/ClickHouse/ClickHouse/issues/45090
