K8s cluster -- kubeadm

prerequisition:

3台服务器或虚拟机
最低配置：2CPU、2GB Memory、20GB disk
最好能联网，不能联网需要有提供队友镜像的私有仓库 .

软件环境:

操作系统：centos7
Docker： 20+
k8s：1.23.6

安装步骤:

1. 初始操作（所有节点）

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

关闭selinux

sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

关闭swap

swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

关闭完swap后，一定要重启一下虚拟机！！！

根据规划设置主机名

hostnamectl set-hostname <hostname>

在master添加hosts

cat >> /etc/hosts << EOF
192.168.113.120 k8s-master
192.168.113.121 k8s-node1
192.168.113.122 k8s-node2
EOF

将桥接的IPv4流量传递到iptables的链

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system  # 生效

时间同步

yum install ntpdate -y
ntpdate time.windows.com

2. 安装基础软件（所有节点）

基于文档中的安装 Docker 文件进行安装

Uninstall old versions

sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-engine

Set up the repository

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

本实验按装Docker 20+

[root@node1 yum.repos.d]# yum list docker-ce --showduplicates | sort -r
* updates: mirrors.bupt.edu.cn
Loading mirror speeds from cached hostfile
Loaded plugins: fastestmirror
* extras: mirrors.nju.edu.cn
docker-ce.x86_64            3:26.0.2-1.el7                      docker-ce-stable
docker-ce.x86_64            3:26.0.1-1.el7                      docker-ce-stable
<...>
[root@node1 yum.repos.d]#sudo yum install docker-ce-3:23.0.1-1.el7 docker-ce-cli-3:23.0.1-1.el7 containerd.io docker-buildx-plugin docker-compose-plugin

启动docker 出现 ‘ Failed to start docker.service: Unit not found. ’ 错误 ,因为缺少 rhel-push-plugin.socket 单元，该单元是rhel-push-plugin软件包的一部分。所以我们执行以下指令就可以成功解决curl -sSL https://get.docker.com/ | sh 提示。安装最新版本的命令是： sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Install Docker Engine

添加阿里云yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm/kubelet/kubectl

yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6

systemctl enable kubelet

# 配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json，加入以下内容
"exec-opts": ["native.cgroupdriver=systemd"]

# 重启 docker
systemctl daemon-reload
systemctl restart docker

3. 部署kubernetes Master

在 Master 节点下执行

kubeadm init \
--apiserver-advertise-address=10.0.0.10 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.6 \
--service-cidr=192.168.0.0/20 \
--pod-network-cidr=192.168.0.0/16

安装成功后，复制如下配置并执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes

4. 加入kubernetes Node

分别在 k8s-node1 和 k8s-node2 执行

# 下方命令可以在 k8s master 控制台初始化成功后复制 join 命令

kubeadm join 172.26.120.200:6443 --token 152ar6.aag6akqgoiwjd5j1 \
--discovery-token-ca-cert-hash sha256:d708981fd0179a12cfb2c1062bf5a18a473cd8a5f269b8070d3eec10c70ac446 

# 如果初始化的 token 不小心清空了，可以通过如下命令获取或者重新申请
# 如果 token 已经过期，就重新申请

kubeadm token create

# token 没有过期可以通过如下命令获取
kubeadm token list

# 获取 --discovery-token-ca-cert-hash 值，得到值后需要在前面拼接上 sha256:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.* //'

检查结果信息方法：

检查组件：kubectl get componentstatus 或 kubectl get cs
检查pod信息：
[root@k8s-master ~]# kubectl get pods
No resources found in default namespace.
查不到pod信息是因为命名空间问题，集群刚创建的时候不是放在默认namespace，应用：
kubectl get pods -n kube-system
[root@k8s-master ~]# kubectl get pods -n kube-system
NAME                                 READY   STATUS    RESTARTS   AGE
coredns-6d8c4cb4d-gzfgk              0/1     Pending   0          13m
coredns-6d8c4cb4d-mj4pn              0/1     Pending   0          13m
etcd-k8s-master                      1/1     Running   0          13m
kube-apiserver-k8s-master            1/1     Running   0          13m
kube-controller-manager-k8s-master   1/1     Running   0          13m
kube-proxy-55xrt                     1/1     Running   0          10m
kube-proxy-8brl5                     1/1     Running   0          12m
kube-proxy-hlg99                     1/1     Running   0          13m
kube-scheduler-k8s-master            1/1     Running   0          13m
这里发现coredns 是pending状态，这是因为网络原因导致无法下载，需要继续下面步骤5↓

5. 部署CNI网络插件

在 master 节点上执行

## 下载 calico 配置文件，可能会网络超时

curl https://docs.projectcalico.org/manifests/calico.yaml -O


# 修改 calico.yaml 文件中的 CALICO_IPV4POOL_CIDR 配置，修改为与初始化的 cidr 相同

# 修改 IP_AUTODETECTION_METHOD 下的网卡名称

# 删除镜像 docker.io/ 前缀，避免下载过慢导致失败
sed -i 's#docker.io/##g' calico.yaml

#执行这个文件calico.yaml，用kubectl apply ，因为是聚合文件，所有用apply
kubectl apply -f calico.yaml

#再次查看pod ，等待几分钟发现多了pod以及coredns 也好了
kubectl get po -n kube-system

#现在看下新的pod在干什么

5. 测试集群

# 创建部署
kubectl create deployment nginx --image=nginx

# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

# 查看 pod 以及服务信息
kubectl get pod,svc

6. 测试集群

测试集群

# 创建部署
kubectl create deployment nginx --image=nginx

# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

# 查看 pod 以及服务信息
kubectl get pod,svc

Lorem ipsum dolor sit amet, consectetur adipiscing elit.consectetur adipiscing elitconsectetur adipiscing elit ↩