概述
本文以Ucloud云平台为例子，从控制台创建一个容器集群后，还需要完成一系列初始化工作，才能满足面向日常使用，准备工作如下：
- 配置动态存储卷,例如 NFS协议的StorageClass
- 安装容器应用的管理工具,例如 Helm
- 配置网关服务，例如nginx-ingress
配置动态存储卷
- 如果集群内未创建StorageClass 配置，首先在ucloud 控制台创建UFS存储，选择 k8s集群所在的vpc 子网 创建UFS挂载点，StorageClass部署参考 https://github.com/panhaitao/k8s-app/tree/main/deploy-for-k8s/StorageClass-UFS
git clone https://github.com/panhaitao/k8s-app.git
cd k8s-app/deploy-for-k8s/StorageClass-UFS/
- 修改 deployment.yaml 配置中 挂载点ufs_server_ip 和storage 大小，顺序执行如下命令:
kubectl apply -f deployment.yaml
kubectl apply -f rbac.yaml
kubectl apply -f class.yaml
- 检查确认
执行命令：kubectl get pod 返回如下结果为正常
NAME READY STATUS RESTARTS AGE
nfs-client-provisioner-58886b744d-dg7gh 1/1 Running 0 6m39s
执行命令：kubectl get sc 返回结果包含如部分为正常
ufs-nfsv4-storage (default) ucloud/ufsprovisioner Delete Immediate false 12m
安装 Helm 包管理器
Helm 类似 Linux 操作系统中的包管理工具，如 CentOS 发行版中的的 yum，Debian发行版中的的 apt。Helm 让 Kubernetes 的用户可以像安装软件包一样，轻松查找、部署、升级或卸载各种容器软件包，推荐安装使用helm v3版本，登录k8s集群任意一台master，执行如下命令
wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz #或
wget https://mirrors.huaweicloud.com/helm/v3.5.2/helm-v3.5.2-linux-amd64.tar.gz
tar -xf helm-v3.5.2-linux-amd64.tar.gz
mv linux-amd64/helm /usr/bin/
chmod 755 /usr/bin/helm
配置ingress网关服务
部署一个公网 LB 版的 nginx ingress
helm repo add ingress https://kubernetes.github.io/ingress-nginx
helm repo update
kubectl create namespace ingress-nginx
helm install ingress-nginx ingress/ingress-nginx -n ingress-nginx
如果在国内拉取官方镜像导致部署失败，可以将ingress-nginx需要的镜像推送到自有镜像仓库，然后使用自有镜像仓库参考操作如下：
- 将官方镜像上传的自有镜像仓库, (以仓库地址:
uhub.service.ucloud.cn/ucloud_pts为例) 参考操作如下:
docker pull k8s.gcr.io/ingress-nginx/controller:v0.45.0
docker pull docker.io/jettech/kube-webhook-certgen:v1.5.1
docker tag k8s.gcr.io/ingress-nginx/controller:v0.45.0 uhub.service.ucloud.cn/ucloud_pts/controller:v0.45.0
docker tag docker.io/jettech/kube-webhook-certgen:v1.5.1 uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen:v1.5.1
docker push uhub.service.ucloud.cn/ucloud_pts/controller:v0.45.0
docker push uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen:v1.5.1
- 创建 docker-registry类型的secrets
kubectl create namespace ingress-nginx
kubectl delete secret registry-secret-name -n ingress-nginx
kubectl create secret docker-registry registry-secret-name \
--namespace=ingress-nginx \
--docker-server=uhub.service.ucloud.cn/ucloud_pts \
--docker-username='xxxxxxxxx' \
--docker-password='xxxxxxxxx'
- 使用自有仓库来部署ingress-nginx
cat > ingress-value.yaml << EOF
imagePullSecrets:
- name: registry-secret-name
controller:
name: controller
ingressClass: nginx
image:
repository: uhub.service.ucloud.cn/ucloud_pts/controller
tag: "v0.45.0"
digest: sha256:c892e4e39885a16324d38b213d0dd42f56d183e93836b28d051c5476b1418bc1
admissionWebhooks:
patch:
enabled: true
image:
repository: uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen
EOF
helm del ingress-nginx -n ingress-nginx
helm upgrade --install ingress-nginx ingress/ingress-nginx -n ingress-nginx --values=ingress-value.yaml
部署一个内网 LB 版的 nginx ingress
- 为内网LB版本的ingress创建一个独立的命名空间和docker-registry，(以仓库地址: uhub.service.ucloud.cn/ucloud_pts为例) 参考操作如下:
kubectl create ns ingress-inner
kubectl create secret docker-registry registry-secret-name \
--namespace=ingress-inner \
--docker-server=uhub.service.ucloud.cn/ucloud_pts \
--docker-username='xxxxxxxxxxx' \
--docker-password='xxxxxxxxxxx'
- 获取 ingress-nginx chart包，修改为定制的ULB内网版本
helm repo add ingress https://kubernetes.github.io/ingress-nginx
helm repo update
helm fetch ingress/ingress-nginx
tar -xvpf ingress-nginx-3.33.0.tgz
编辑 ingress-nginx/Chart.yaml 修改以下字段
name: ingress-nginx-inner
修改 ingress-nginx/templates/controller-service.yaml 追加如下配置
metadata:
annotations:
service.beta.kubernetes.io/ucloud-load-balancer-type: inner
- 安装修改后的chart包
helm package ingress-nginx
cat > ingress-inner-value.yaml << EOF
imagePullSecrets:
- name: registry-secret-name
controller:
name: controller
ingressClass: nginx-inner
image:
repository: uhub.service.ucloud.cn/ucloud_pts/controller
tag: "v0.45.0"
digest: sha256:c892e4e39885a16324d38b213d0dd42f56d183e93836b28d051c5476b1418bc1
admissionWebhooks:
patch:
enabled: true
image:
repository: uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen
EOF
helm del ingress-inner -n ingress-inner
helm upgrade --install ingress-inner /root/ingress-nginx-inner-3.33.0.tgz -n ingress-inner --values=ingress-inner-value.yaml
- [可选]如果需要开启promethus metrics 可以在controller字段 追加如下配置
controller:
metrics:
port: 10254
enabled: true
service:
annotations:
prometheus.io/scrape: "true"
prometheus.io/port: "10254"
servicePort: 10254
type: LoadBalancer
然后执行helm更新部署即可，例如：
helm upgrade --install ingress-nginx ingress/ingress-nginx -n ingress-nginx --values=ingress-value.yaml
验证部署，执行命令：helm list -A 返回类似如下部分的结果，说明部署成功
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
ingress-inner ingress-inner 1 2021-06-17 14:27:57.664696407 +0800 CST deployed ingress-nginx-inner-3.33.0 0.47.0
ingress-nginx ingress-nginx 1 2021-06-17 14:04:02.195360842 +0800 CST deployed ingress-nginx-3.33.0 0.47.0
总结
以上只是作为初始化容器集群的基本工作，扩展开来讨论，可能还要涉及一下几部分：
- 如果涉及微服务，还需要部署一套微服务注册中心，API网关等基础组件
- 如果涉及多集群管理，需要完整对接管理集群的配置，例如 rancher agent
- 如果对接监控系统，需要部署日志，事件监控等监控数据上报 agent
