一.部署规划

1.主机规划

主机名及主机大小主机ip安装软件
master(2C/4G,cpu核心数要求大于2)192.168.245.113docker、kubeadm、kubelet、kubectl、flannel
node01(2C/2G)192.168.245.114docker、kubeadm、kubelet、kubectl、flannel
node02(2C/2G)192.168.245.115docker、kubeadm、kubelet、kubectl、flannel
Harbor节点(hub.blue.com)192.168.245.116docker、docker-compose、harbor-offline-v1.2.2

2.部署流程

(1)在所有节点上安装Docker和kubeadm
(2)部署Kubernetes Master
(3)部署容器网络插件
(4)部署 Kubernetes Node,将节点加入Kubernetes集群中
(5)部署 Dashboard Web 页面,可视化查看Kubernetes资源
(6)部署 Harbor 私有仓库,存放镜像资源

二.kubeadm搭建K8S

1.环境准备

master、node01、node02操作

#所有节点,关闭防火墙规则,关闭selinux,关闭swap交换
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
#交换分区必须要关闭
swapoff -a	
#永久关闭swap分区,&符号在sed命令中代表上次匹配的结果
sed -ri 's/.*swap.*/#&/' /etc/fstab		
#加载 ip_vs 模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
#修改主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

bash
#所有节点修改hosts文件
vim /etc/hosts
192.168.245.113 master01
192.168.245.114 node01
192.168.245.115 node02
#调整内核参数
cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式,可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
#生效参数
sysctl --system  

2.安装docker

master、node01、node02操作

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io
#使用Systemd管理的Cgroup来进行资源控制与管理,因为相对Cgroupfs而言,Systemd限制CPU、内存等资源更加简单和成熟稳定。
#日志使用json-file格式类型存储,大小为100M,保存在/var/log/containers目录下,方便ELK等日志系统收集和管理日志。
mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF
systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 
docker info | grep "Cgroup Driver"
#返回值
Cgroup Driver: systemd

3. 安装kubeadm,kubelet和kubectl

所有节点

#定义kubernetes源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11
#开机自启kubelet
systemctl enable kubelet.service
#K8S通过kubeadm安装出来以后都是以Pod方式存在,即底层是以容器方式运行,所以kubelet必须设置开机自启

4.部署K8S集群

(1)初始化

所有节点

#查看初始化需要的镜像
kubeadm config images list

master 节点上操作

#在 master 节点上传 v1.20.11.zip 压缩包至 /opt 目录
cd /opt/
unzip v1.20.11.zip -d /opt/k8s
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done
#复制镜像和脚本到 node 节点,并在 node 节点上执行脚本加载镜像文件
scp -r /opt/k8s root@node01:/opt
scp -r /opt/k8s root@node02:/opt

node01节点上操作

cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

node02节点上操作

cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

master 节点上操作

#初始化kubeadm,有两种方式方法二命令和方法一配置文件,此处选用方法二的命令
方法一:
kubeadm config print init-defaults > /opt/kubeadm-config.yaml

cd /opt/
vim kubeadm-config.yaml
......
11 localAPIEndpoint:
12   advertiseAddress: 192.168.245.113		#指定master节点的IP地址
13   bindPort: 6443
......
34 kubernetesVersion: v1.20.11				#指定kubernetes版本号
35 networking:
36   dnsDomain: cluster.local
37   podSubnet: "10.244.0.0/16"				#指定pod网段,10.244.0.0/16用于匹配flannel默认网段
38   serviceSubnet: 10.96.0.0/16			#指定service网段
39 scheduler: {}

#末尾再添加以下内容

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs									#把默认的kube-proxy调度方式改为ipvs模式
kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
#--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件,K8S V1.16版本开始替换为 --upload-certs
#tee kubeadm-init.log 用以输出日志

#查看 kubeadm-init 日志
less kubeadm-init.log

#kubernetes配置文件目录
ls /etc/kubernetes/

#存放ca等证书和密码的目录
ls /etc/kubernetes/pki	

方法二:

方法二:
kubeadm init \
--apiserver-advertise-address=192.168.245.113 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.20.11 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--token-ttl=0

初始化集群需使用kubeadm init命令,可以指定具体参数初始化,也可以指定配置文件初始化。
可选参数:
–apiserver-advertise-address:apiserver通告给其他组件的IP地址,一般应该为Master节点的用于集群内部通信的IP地址,0.0.0.0表示节点上所有可用地址
–apiserver-bind-port:apiserver的监听端口,默认是6443
–cert-dir:通讯的ssl证书文件,默认/etc/kubernetes/pki
–control-plane-endpoint:控制台平面的共享终端,可以是负载均衡的ip地址或者dns域名,高可用集群时需要添加
–image-repository:拉取镜像的镜像仓库,默认是k8s.gcr.io
–kubernetes-version:指定kubernetes版本
–pod-network-cidr:pod资源的网段,需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16,Calico插件的默认值为192.168.0.0/16;
–service-cidr:service资源的网段
–service-dns-domain:service全域名的后缀,默认是cluster.local

–token-ttl=0:默认token的有效期为24小时,如果不想过期,可以加上 --token-ttl=0 这个参数

#方法二初始化后需要修改 kube-proxy 的 configmap,开启 ipvs
kubectl edit cm kube-proxy -n=kube-system

#此处执行完会提示以下,则我们需要进一步操作设定
The connection to the server localhost:8080 was refused - did you specify the right host or port?

#设定kubectl,kubectl需经由API server认证及授权后方能执行相应的管理操作,kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf,它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
#显示已存在
ll /root/.kube/
chown $(id -u):$(id -g) $HOME/.kube/config
#授权结束即可以查看生成的相关信息配置,查看后即退出
vim /root/.kube/config 
#再次初始化,就可看到相关信息,并修改第44行修改mode: "ipvs"
[root@master01 ~]# kubectl edit cm kube-proxy -n=kube-system

[root@master01 ~]# kubectl get node
NAME       STATUS     ROLES                  AGE   VERSION
master01   NotReady   control-plane,master   49m   v1.20.11
[root@master01 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS      MESSAGE                                                                                       ERROR
scheduler            Unhealthy   Get "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused   
controller-manager   Unhealthy   Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused   
etcd-0               Healthy     {"health":"true"}   
#如果 kubectl get cs 发现集群不健康,更改以下两个文件
vim /etc/kubernetes/manifests/kube-scheduler.yaml 
vim /etc/kubernetes/manifests/kube-controller-manager.yaml

修改如下内容

把--bind-address=127.0.0.1变成--bind-address=192.168.245.113		#行修改成k8s的控制节点master01的ip
把httpGet:字段下的hosts由127.0.0.1变成192.168.245.113(有两处)
#- --port=0					# 搜索port=0,把这一行注释掉
systemctl restart kubelet
systemctl enable kubelet
#再次查看健康状态
kubectl get cs

在这里插入图片描述

(2)部署网络插件flannel

node01操作

方法一此文使用的是此方法:
#所有节点上传flannel镜像 flannel.tar 到 /opt 目录,master节点上传 kube-flannel.yml 文件
cd /opt
scp kuadmin-flannel.zip node02:/opt/
#解压
unzip kuadmin-flannel.zip
#加载
docker load -i flannel-cni-v1.2.0.tar 
docker load -i flannel-v0.22.2.tar 
#创建并解压到相关目录
mv cni cni_bak
mkdir cni/bin -p
tar zxvf cni-plugins-linux-amd64-v1.2.0.tgz -C cni/bin
#查看新的文件
ll cni/bin/

node02操作

cd /opt
unzip kuadmin-flannel.zip
docker load -i flannel-cni-v1.2.0.tar 
docker load -i flannel-v0.22.2.tar 
mv cni cni_bak
mkdir cni/bin -p
tar zxvf cni-plugins-linux-amd64-v1.2.0.tgz -C cni/bin
#查看新的文件
ll cni/bin/

在这里插入图片描述

scp kube-flannel.yml master01:/opt/

node01和node02节点操作

#执行 kubeadm join 命令加入群集
#复制master中执行过这个命令的kubeadm init \在node节点操作
kubeadm join 192.168.245.113:6443 --token xw2jea.m2ffe7p7pz8pp1ou \
    --discovery-token-ca-cert-hash sha256:706829ced9d086d1dcd33792d4ef8a60e99aefb437f2dbd99a617d6c2e39604e 

在这里插入图片描述

在master节点操作

#在master节点查看节点状态
kubectl get nodes

#在 master 节点创建 flannel 资源
kubectl apply -f kube-flannel.yml 

#再次查看节点状态
kubectl get nodes

在这里插入图片描述

kubectl get pods -n kube-system
kubectl get pods -n kube-flannel

在这里插入图片描述

如执行kubectl get pods -n kube-flannel发现有不是running或者查看节点状态
kubectl get nodes出现NoReady

解决方法:查看所有的机器防火墙等是否关闭

执行:

删除再次生成

kubectl delete -f kube-flannel.yml

kubectl apply -f kube-flannel.yml

执行后需等待可再次查看状态

kubectl get pods -n kube-flannel

(3)创建 pod 资源

在master节点操作

#创建 pod 资源创建
kubectl create deployment nginx --image=nginx
#查看创建的资源,需等待
kubectl get pods -o wide

在这里插入图片描述

#暴露端口提供服务
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get svc
或kubectl get service

在这里插入图片描述

#测试访问
curl http://node01:30122

http://192.168.245.114:30122/

在这里插入图片描述
在这里插入图片描述

#扩展pod副本(3个)
kubectl scale deployment nginx --replicas=3
#刷新查看pod,需等待查看
kubectl get pods -o wide

在这里插入图片描述

5.部署 Dashboard

master01 节点上操作

上传Dashboard和recommended.yaml相关文件
scp dashboard.tar node01:/opt
scp dashboard.tar node02:/opt

node节点上操作

#加载
docker load -i dashboard.tar 

master01 节点上操作

#在 master01 节点上操作
#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml

#默认Dashboard只能集群内部访问,修改Service为NodePort类型,暴露到外部:
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:

   - port: 443
     targetPort: 8443
     nodePort: 30001     
       type: NodePort         
       selector:
         k8s-app: kubernetes-dashboard
#启动
kubectl apply -f recommended.yaml
#
#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

token:      eyJhbGciOiJSUzI1NiIsImtpZCI6InZuekF5cFVGVHpjc24xRm05Q2x4aGp0UmRUdGlqMUxSZHVoyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYnBna2MiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvY3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiOTBhYTExYWEtMDRkMy00MTFmMzMyMTQ0Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbnU4g-OFJStZDxjQiicaUh8Ef947W7zuRYWzHXQX7gfQZN75CGhXOGtbzIEbF_UuIjAueb1FV9F3T34aEY3aOLiQ1HD0HMImjkvxHUyNOMFAjShRrSHKQtVkcrBIKtSdSFag5yn3Y4d7H4KVHMGn9Aw26JYCqBgcWeBrm8ebEHFY8LaiqXtJXUcYB23M5rQV4OVHcuPYYfg_iiL7_24Z7HOKGiGTBdbaSQNwJEBJQX-2K6aoZOwe73LATR1WxEigyALoFS7Bf2fLy3FWAAQmj3Bu3kw

#查看创建的所有即有创建的用户dashboard-admin
kubectl -n kube-system get sa

在这里插入图片描述

#使用输出的token登录Dashboard
https://192.168.245.113:30001

在这里插入图片描述

空敲this is unsafe (不用空格),回车即可

选择token输入查到的token登录即可

在这里插入图片描述

6.安装Harbor私有仓库

Harbor节点上操作

#修改主机名
hostnamectl set-hostname hub.blue.com
bash

所有节点上操作

#所有节点加上主机名映射
echo '192.168.245.116 hub.blue.com' >> /etc/hosts

Harbor节点上操作

#安装 docker
yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries": ["https://hub.blue.com"]
}
EOF
systemctl start docker
systemctl enable docker

node 节点上操作

#所有 node 节点都修改 docker 配置文件,加上私有仓库配置
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries": ["https://hub.blue.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker

Harbor节点上操作

#安装 Harbor
#上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录
cd /opt
cp docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose

tar zxvf harbor-offline-installer-v1.2.2.tgz
cd harbor/
vim harbor.cfg
5  hostname = hub.blue.com
9  ui_url_protocol = https
24 ssl_cert = /data/cert/server.crt
25 ssl_cert_key = /data/cert/server.key
59 harbor_admin_password = Harbor12345
#生成证书
mkdir -p /data/cert
cd /data/cert
#生成私钥,2048密码长度数值
openssl genrsa -des3 -out server.key 2048
输入两遍密码:123456

#生成证书签名请求文件
openssl req -new -key server.key -out server.csr
输入私钥密码:123456
输入国家名:CN
输入省名:NJ
输入市名:NJ
输入组织名:BLUE
输入机构名:BLUE
输入域名:hub.blue.com
输入管理员邮箱:admin@blue.com
其它全部直接回车
#备份私钥
cp server.key server.key.org
#清除私钥密码
openssl rsa -in server.key.org -out server.key
输入私钥密码:123456
#签名证书,x509证书认证格式,-signkey迁移到server.key
openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt

ls
chmod +x /data/cert/*

在这里插入图片描述

cd /opt/harbor/
./install.sh
docker-compose ps

在这里插入图片描述

在这里插入图片描述

在本地使用火狐浏览器访问:https://hub.blue.com
添加例外 -> 确认安全例外
用户名:admin
密码:Harbor12345

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

node02节点上操作

#在一个node节点上登录harbor
docker login -u admin -p Harbor12345 https://hub.blue.com

报错:

docker login -u admin -p Harbor12345 https://hub.blue.com
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Error response from daemon: Get “https://hub.blue.com/v2/”: tls: failed to verify certificate: x509: certificate relies on legacy Common Name field, use SANs instead

证书验证失败的问题。这可能是由于 Harbor 的 SSL 证书未正确配置,导致 Docker 无法验证证书的有效性。

考虑更新 Harbor 的 SSL 证书,确保证书中的 Subject Alternative Names (SANs) 字段正确配置,并包含正确的登录地址和其他必要信息。获取有效的 SSL 证书

(1)从新获取证书验证

(2)重新部署Harbor服务器,注意添加node主机、harbor主机名映射

(3)node 节点都修改 docker 配置文件结束后需要重启

systemctl daemon-reload
systemctl restart docker

在这里插入图片描述

#上传镜像
docker tag nginx:latest hub.blue.com/library/nginx:v1
docker push hub.blue.com/library/nginx:v1

在这里插入图片描述

master01节点上操作

#在master节点上删除之前创建的nginx资源
kubectl get pods
kubectl delete deployment nginx

kubectl create deployment nginx-deployment --image=hub.blue.com/library/nginx:v1 --port=80 --replicas=3

kubectl expose deployment nginx-deployment --port=30000 --target-port=80

kubectl get svc,pods
NAME                       TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
service/kubernetes         ClusterIP   10.96.0.1      <none>        443/TCP        74m
service/nginx              NodePort    10.96.88.168   <none>        80:30122/TCP   40m
service/nginx-deployment   ClusterIP   10.96.214.42   <none>        30000/TCP      12s

NAME                                    READY   STATUS    RESTARTS   AGE
pod/nginx-deployment-6cff9b4c45-98kfc   1/1     Running   0          21s
pod/nginx-deployment-6cff9b4c45-glvbs   1/1     Running   0          21s
pod/nginx-deployment-6cff9b4c45-zxncq   1/1     Running   0          21s

在这里插入图片描述

yum install ipvsadm -y

ipvsadm -Ln

node节点操作

curl 10.96.214.42:30000

master01节点操作,对外访问

kubectl edit svc nginx-deployment
#把调度策略改成NodePort,26行   
type: NodePort						
kubectl get svc
NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)           AGE
kubernetes         ClusterIP   10.96.0.1      <none>        443/TCP           77m
nginx              NodePort    10.96.88.168   <none>        80:30122/TCP      43m
nginx-deployment   NodePort    10.96.214.42   <none>        30000:30495/TCP   2m47s
浏览器访问:
192.168.245.113:30495
192.168.245.114:30495
192.168.245.115:30495

在这里插入图片描述

#将cluster-admin角色权限授予用户system:anonymous,设置用户的管理员权限
kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

7.kubeadm内核参数优化方案

cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0									#禁止使用 swap 空间,只有当系统内存不足(OOM)时才允许使用它
vm.overcommit_memory=1							#不检查物理内存是否够用
vm.panic_on_oom=0								#开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963							#指定最大文件句柄数
fs.nr_open=52706963								#仅4.4以上版本支持
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
GitHub 加速计划 / ha / harbor
23.24 K
4.68 K
下载
Harbor 是一个开源的容器镜像仓库,用于存储和管理 Docker 镜像和其他容器镜像。 * 容器镜像仓库、存储和管理 Docker 镜像和其他容器镜像 * 有什么特点:支持多种镜像格式、易于使用、安全性和访问控制
最近提交(Master分支:2 个月前 )
9e55afbb pull image from registry.goharbor.io instead of dockerhub Update testcase to support Docker Image Can Be Pulled With Credential Change gitlab project name when user changed. Update permissions count and permission count total Change webhook_endpoint_ui Signed-off-by: stonezdj <stone.zhang@broadcom.com> Co-authored-by: Wang Yan <wangyan@vmware.com> 6 天前
3dbfd422 Signed-off-by: wang yan <wangyan@vmware.com> 7 天前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐