1.1 Kubernetes基础环境部署

kubernetes有多种部署方式,目前主流的方式有kubeadm、minikube、二进制包

  • minikube:一个用于快速搭建单节点kubernetes的工具

  • kubeadm:一个用于快速搭建kubernetes集群的工具

  • 二进制包 :从官网下载每个组件的二进制包,依次去安装,此方式对于理解kubernetes组件更加有效、

  • K8s-all:主机名为三台都做

主机名IP地址系统配置
K8s-master192.168.110.21/24CentOS 7.94颗CPU 8G内存 100G硬盘
K8s-node-01192.168.110.22/24CentOS 7.94颗CPU 8G内存 100G硬盘
K8s-node-02192.168.110.23/24CentOS 7.94颗CPU 8G内存 100G硬盘

注意:关闭防火墙和SElinux

1.1.1 配置hosts解析

[root@K8s-master ~]# cat >> /etc/hosts << EOF
192.168.110.21 K8s-master
192.168.110.22 K8s-node-01
192.168.110.23 K8s-node-02
EOF
[root@K8s-master ~]# scp /etc/hosts K8s-node-01:/etc/
[root@K8s-master ~]# scp /etc/hosts K8s-node-02:/etc/

1.1.2 配置NTP时间服务

[root@K8s-master ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@K8s-master ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
[root@K8s-master ~]# systemctl restart chronyd.service
[root@K8s-master ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 203.107.6.88                  2   6    17    18   +266us[+1386us] +/-   24ms
​
[root@K8s-node-01 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@K8s-node-01 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
[root@K8s-node-01 ~]# systemctl restart chronyd.service
[root@K8s-node-01 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^? 203.107.6.88                  0   6     0     -     +0ns[   +0ns] +/-    0ns
​
[root@K8s-node-02 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@K8s-node-02 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
[root@K8s-node-02 ~]# systemctl restart chronyd.service
[root@K8s-node-02 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 203.107.6.88                  2   6     7     1   -291us[-4455us] +/-   30ms

1.1.3 禁用Swap交换分区

由于容器设计为尽可能高效地使用资源,Kubernetes通常要求在节点上禁用swap分区,原因包括:

  • 性能问题:如前所述,使用swap会降低系统性能,这可能会影响容器的性能和稳定性。

  • 资源隔离:禁用swap可以确保容器之间的资源隔离更加清晰,避免一个容器使用过多swap空间而影响其他容器。

  • 调试和监控:禁用swap可以简化系统监控和调试,因为不需要考虑磁盘空间作为内存使用的复杂性。

[root@K8s-master ~]# sed -i 's/.*swap.*/# &/' /etc/fstab
[root@K8s-node-01 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab
[root@K8s-node-02 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab

1.1.4 升级操作系统内核

注意:三台机器同时做

1.1.4.1 导入elrepo gpg key

[root@K8s-all ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
1.1.4.2 安装elrepo YUM源仓库
[root@K8s-all ~]# yum install https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm -y 
1.1.4.3 安装kernel-ml版本
  • ml为长期稳定版本,lt为长期维护版本

[root@K8s-all ~]# yum --enablerepo="elrepo-kernel" install kernel-ml.x86_64 -y 
[root@K8s-all ~]# uname -r
3.10.0-1160.71.1.el7.x86_64
1.1.4.5 设置grub2默认引导为0
[root@K8s-all ~]# grub2-set-default 0
1.1.4.6 重新生成grub2引导文件
[root@K8s-all ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
[root@K8s-all ~]# reboot  #更新后,需要重启,使用升级的内核生效
[root@K8s-all ~]# uname -r   #重启后,需要验证内核是否为更新对应的版本
6.8.7-1.el7.elrepo.x86_64

1.1.5 开启内核路由转发

[root@K8s-all ~]# sysctl -w net.ipv4.ip_forward=1
net.ipv4.ip_forward = 1
[root@K8s-master ~]# modprobe br_netfilter

1.1.6 添加网桥过滤及内核转发配置文件

[root@K8s-all ~]# cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness = 0
EOF
[root@K8s-all ~]# modprobe br-netfilter
[root@K8s-all ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness = 0

1.1.7 开启IPVS

[root@K8s-all ~]# yum install ipset ipvsadm -y
[root@K8s-all ~]# vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
​
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_vip ip_vs_sed ip_vs_ftp nf_conntrack"
​
for kernel_module in $ipvs_modules; 
do
        /sbin/modinfo -F filename $kernel_module >/dev/null 2>&1
        if [ $? -eq 0 ]; then
                /sbin/modprobe $kernel_module
        fi
done
​
chmod 755 /etc/sysconfig/modules/ipvs.modules
​
[root@K8s-all ~]# bash /etc/sysconfig/modules/ipvs.modules

1.1.8 配置国内镜像源

[root@K8s-all ~]# cat >> /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

1.1.9 安装软件包

[root@K8s-all ~]# yum install kubeadm-1.24.2 kubelet-1.24.2 kubectl-1.24.2 -y  #最新为1.28.2
[root@K8s-all ~]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"24", GitVersion:"v1.24.2", GitCommit:"f66044f4361b9f1f96f0053dd46cb7dce5e990a8", GitTreeState:"clean", BuildDate:"2022-06-15T14:20:54Z", GoVersion:"go1.18.3", Compiler:"gc", Platform:"linux/amd64"}
​
#为了实现docker使用的cgroupdriver与kubelet使用的cgroup的一致性,修改如下文件内容
[root@K8s-all ~]# cat <<EOF > /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF
​
[root@K8s-all ~]# systemctl enable kubelet.service 
  • 做完基础环境,创建快照,后续会分别使用三种不同方式创建集群。

1.2 Containerd方式部署K8s集群

1.2.1 Containerd安装部署

1.2.1.1 安装基本工具
[root@K8s-all ~]# yum install yum-utils device-mapper-persistent-data lvm2 -y
1.2.1.2 下载Docker-ce的源
[root@K8s-all ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo
1.2.1.3 替换仓库源
[root@K8s-all ~]# sed -i 's+download.docker.com+mirrors.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo 
[root@K8s-all ~]# sed -i 's/$releasever/7Server/g' /etc/yum.repos.d/docker-ce.repo
1.2.1.4 安装Containerd
[root@K8s-all ~]# yum install containerd -y
1.2.1.5 初始化默认配置
[root@K8s-all ~]# containerd config default | tee /etc/containerd/config.toml
[root@K8s-all ~]# sed -i "s#SystemdCgroup\ \=\ false#SystemdCgroup\ \=\ true#g" /etc/containerd/config.toml
[root@K8s-all ~]# sed -i "s#registry.k8s.io#registry.aliyuncs.com/google_containers#g" /etc/containerd/config.toml
​
#配置crictl
[root@K8s-all ~]# cat <<EOF | tee /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
[root@K8s-all ~]# systemctl daemon-reload
[root@K8s-all ~]# systemctl restart containerd
[root@K8s-all ~]# systemctl enable containerd
1.2.1.6 测试
[root@K8s-node-02 ~]# crictl pull nginx:alpine
Image is up to date for sha256:f4215f6ee683f29c0a4611b02d1adc3b7d986a96ab894eb5f7b9437c862c9499
[root@K8s-node-02 ~]# crictl images
IMAGE                     TAG                 IMAGE ID            SIZE
docker.io/library/nginx   alpine              f4215f6ee683f       20.5MB
[root@K8s-node-02 ~]# crictl rmi nginx:alpine
Deleted: docker.io/library/nginx:alpine

1.2.2 初始化Master节点

[root@K8s-master ~]# kubeadm init --apiserver-advertise-address=192.168.110.21 --apiserver-bind-port=6443 --cri-socket="unix:///var/run/containerd/containerd.sock" --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=1.24.2 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12
重要输出结果
Your Kubernetes control-plane has initialized successfully!
​
To start using your cluster, you need to run the following as a regular user:
​
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
​
Alternatively, if you are the root user, you can run:
​
  export KUBECONFIG=/etc/kubernetes/admin.conf
​
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
​
Then you can join any number of worker nodes by running the following on each as root:
​
kubeadm join 192.168.110.21:6443 --token 5vvo64.efx6hh9fgs241rpd \
        --discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569 
参数作用缺省配置供的配置
--apiserver-advertise-addressAPI 服务器绑定的 IP 地址,用于集群内节点通信。Master 主机 IP192.168.110.21
--apiserver-bind-portAPI 服务器监听的端口。64436443
--cri-socket指定容器运行时接口(CRI)的 socket 文件路径。unix:///var/run/containerd/containerd.sock
--control-plane-endpoint控制面地址,通常为 master 的 VIP 和端口。master_vip:6440(未提供,通常不需要手动指定,除非使用高可用配置)
--image-repository选择拉取镜像的仓库。k8s.gcr.ioregistry.aliyuncs.com/google_containers
--kubernetes-version选择要安装的 Kubernetes 版本。stable-11.24.2
--pod-network-cidr指定 Pod 网络的 CIDR,用于集群内 Pod 通信。10.244.0.0/1610.244.0.0/16
--service-cidr指定 Kubernetes 服务的 IP 范围,用于服务发现。10.96.0.0/1210.96.0.0/12
  • 加入指令可以通过如下命令重复获取

[root@K8s-master ~]# kubeadm token create --print-join-command
kubeadm join 192.168.110.21:6443 --token ew9q7c.i86isio9knu36hm5 --discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569 
  • 初始化失败可以用 reset 指令重置,解决问题后重新初始化

[root@K8s-master ~]# kubeadm reset
  • token 失效处理

1、重新生成 token:
使用 kubeadm token create 命令可以创建一个新的 token,用于加入集群。这个命令会输出一个 token,格式通常是 abcdef.0123456789abcdef。
​
[root@K8s-master ~]# kubeadm token create
abcdef.0123456789abcdef
​
2、获取 ca 证书 sha256 编码 hash 值:
要将节点加入集群,需要提供集群的 CA 证书的 SHA256 哈希值。这可以通过以下命令获得:
​
[root@K8s-master ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
b615fccddcd4e80fc6f9c5e477bfc7a053b017660b73fdeccf89c559739664d7
这条命令的作用是:
​
- 使用 openssl x509 提取 CA 证书的公钥部分。
- 通过 openssl rsa 将公钥从 PEM 格式转换为 DER 格式。
- 使用 openssl dgst 计算 DER 格式公钥的 SHA256 哈希值。
- 使用 sed 命令去除哈希值前面的任何文本,只保留哈希值本身。
- 将新的 node 节点加入到 k8s 集群中:
​
3、使用 kubeadm join 命令将节点加入到集群。您需要提供主节点的 IP 地址和端口(默认为 6443),加入 token,以及 CA 证书的哈希值。
​
$ kubeadm join 主机IP地址:6443 --token abcdef.0123456789abcdef \
  --discovery-token-ca-cert-hash sha256:b615fccddcd4e80fc6f9c5e477bfc7a053b017660b73fdeccf89c559739664d7
请注意,命令中的 主机IP地址 应该替换为您的 Kubernetes 主节点的实际 IP 地址。同时,CA 证书哈希值应该是完整的哈希值,您提供的哈希值在中间被截断了,实际使用时应确保它是完整的。

1.2.3 添加Worker节点

1.2.3.1 Master执行

注意:这些都是初始化生成的内容,直接粘贴就好

[root@K8s-master ~]# mkdir -p $HOME/.kube
[root@K8s-master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@K8s-master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@K8s-master ~]# export KUBECONFIG=/etc/kubernetes/admin.conf
1.2.3.2 Node执行
[root@K8s-node-01 ~]# kubeadm join 192.168.110.21:6443 --token 5vvo64.efx6hh9fgs241rpd \
--discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569 
​
[root@K8s-node-02 ~]# kubeadm join 192.168.110.21:6443 --token 5vvo64.efx6hh9fgs241rpd \
--discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569 

1.2.4 查看集群

[root@K8s-master ~]# kubectl get nodes
NAME          STATUS     ROLES           AGE     VERSION
k8s-master    NotReady   control-plane   72m     v1.24.2
k8s-node-01   NotReady   <none>          8m26s   v1.24.2
k8s-node-02   NotReady   <none>          8m12s   v1.24.2

1.2.5 安装网络插件

[root@K8s-master ~]# wget -c http://down.i4t.com/k8s1.24/kube-flannel.yml
[root@K8s-master ~]# sed -i 's/eth0/ens33/' /root/kube-flannel.yml   #替换成自己的网卡,多网卡指定内网网卡
[root@K8s-master ~]# kubectl apply -f /root/kube-flannel.yml 

1.2.6 检查

[root@K8s-master ~]# kubectl get nodes  #状态为Ready
NAME          STATUS   ROLES           AGE   VERSION
k8s-master    Ready    control-plane   93m   v1.24.2
k8s-node-01   Ready    <none>          29m   v1.24.2
k8s-node-02   Ready    <none>          29m   v1.24.2
​
[root@K8s-master ~]# kubectl get pods -n kube-system   #网络正常,如果没用全部Running就稍等片刻
NAME                                 READY   STATUS    RESTARTS   AGE
coredns-74586cf9b6-96v5x             1/1     Running   0          94m
coredns-74586cf9b6-f5q7h             1/1     Running   0          94m
etcd-k8s-master                      1/1     Running   0          94m
kube-apiserver-k8s-master            1/1     Running   0          94m
kube-controller-manager-k8s-master   1/1     Running   0          94m
kube-flannel-ds-6gqmv                1/1     Running   0          114s
kube-flannel-ds-g7zcj                1/1     Running   0          114s
kube-flannel-ds-hh52b                1/1     Running   0          114s
kube-proxy-glhml                     1/1     Running   0          30m
kube-proxy-klcs2                     1/1     Running   0          30m
kube-proxy-x9v8k                     1/1     Running   0          94m
kube-scheduler-k8s-master            1/1     Running   0          94m
GitHub 加速计划 / co / containerd
16.89 K
3.34 K
下载
containerd 是一个容器运行时和镜像生成工具,用于管理容器化应用程序的生命周期管理。 * 容器化应用程序管理、容器运行时和编排工具 * 有什么特点:容器管理工具、支持多种容器化应用程序管理和部署工具、易于使用和集成
最近提交(Master分支:2 个月前 )
b6d11788 Update errdefs to v1.0.0 2 天前
481692a8 docs/containerd-2.0.md: add more highlights 3 天前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐