K8s概述和架构

一：K8s基本介绍

1：基本介绍

容器化时代 -> 通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统，容器之间进程不会相互影响，能区分计算资源

• 快速部署，快速迁移，解耦
• 容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势
• 使用容器可以在build或release的阶段，为应用创建容器镜像
• 因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。
• 容器比虚拟机轻量、更“透明”，这更便于监控和管理。

kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用

Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署，规划，更新，维护的一种机制

Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。

在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问

而对于这些细节都不需要运维人员去进行复杂的手工配置和处理。

2：K8s和docker swarm的区别

架构与设计理念

Kubernetes

• 复杂但功能强大：采用主从（Master-Worker）架构，包含多个核心组件（如API Server、etcd、Controller Manager、Scheduler等），支持高度模块化和扩展。
• 声明式API：用户通过YAML/JSON文件定义期望状态（如“运行3个副本”），由K8s自动协调实现。
• 面向多云/混合云：设计目标是大规模、跨集群的复杂部署。

Docker Swarm

• 简单轻量：直接集成在Docker引擎中，使用标准的Docker API，学习曲线低。
• 命令式操作：更依赖命令行指令（如docker service create），适合快速部署。
• 单一集群优先：专注于简化单集群管理，适合中小规模场景

功能对比

特性	Kubernetes	Docker Swarm
服务发现	内置DNS和Service抽象，支持复杂路由	内置DNS轮询，依赖Docker网络
扩缩容	手动或基于HPA（自动扩缩容）	手动扩缩或简单自动规则
滚动更新	支持蓝绿部署、金丝雀发布等高级策略	基本滚动更新（需手动配置批次间隔）
存储管理	支持Persistent Volumes（PV）、动态卷	仅支持本地卷或第三方插件（功能有限）
网络模型	CNI插件（如Calico、Flannel），支持多租户	基于Docker Overlay网络，简单但功能少
日志与监控	需第三方工具（如Prometheus、EFK）	集成Docker日志，功能有限
配置管理	ConfigMap和Secrets	Docker Config和Secrets

适用场景

选择Kubernetes：

• 需要多云/混合云支持。
• 应用微服务架构复杂，需高级调度、自动修复、自定义扩展。
• 长期投入，追求生态扩展性。

选择Docker Swarm：

• 快速搭建小型集群或本地开发环境。
• 团队已熟练使用Docker，需低学习成本。
• 项目规模小，无需复杂功能。

二：K8s功能和架构

可以看这个视频，快速了解

Kubernetes 是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。

通过Kubernetes 能够进行应用的自动化部署和扩缩容。

在 Kubernetes 中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。

1：K8s功能

• 自动装箱 -> 基于容器对应用运行环境的资源配置要求自动部署应用容器
• 自我修复 -> 当容器失败时，会对容器进行重启。当所部署的 Node 节点有问题时，会对容器进行重新部署和重新调度 。当容器未通过监控检查时，会关闭此容器直到容器正常运行时，才会对外提供服务。
• 水平扩展 -> 通过简单的命令、用户 UI 界面或基于 CPU 等资源使用情况，对应用容器进行规模扩大或规模剪裁
• 服务发现 -> 用户不需使用额外的服务发现机制，就能够基于 Kubernetes 自身能力实现服务发现和负载均衡
• 滚动更新 -> 可以根据应用的变化，对应用容器运行的应用，进行一次性或批量式更新
• 版本回退 -> 可以根据应用部署情况，对应用容器运行的应用，进行历史版本即时回退
• 秘钥和配置管理 -> 在不需要重新构建镜像的情况下，可以部署和更新密钥和应用配置，类似热部署。
• 存储编排 -> 自动实现存储系统挂载及应用，特别对有状态应用实现数据持久化非常重要存储系统可以来自于本地目录、网络存储、公共云存储服务
• 批量处理 -> 提供一次性任务，定时任务；满足批量数据处理和分析的场景。

2：K8s集群架构

Kubernetes Cluster = N Master Node + N Worker Node -> N主节点+N工作节点[N>=1]

注意Pod -> 运行中的一组容器，Pod是kubernetes中应用的最小单位

3.1：控制平面组件（Master Node，总部）

控制平面组件会为集群做出全局决策，比如资源的调度，以及检测和响应集群事件

例如当不满足部署的 replicas 字段时， 要启动新的 pod。

控制平面组件可以在集群中的任何节点上运行。

然而，为了简单起见，设置脚本通常会在同一个计算机上启动所有控制平面组件， 并且不会在此计算机上运行用户容器

Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和Controller MangerServer 所组成。

Kube Api Server - 秘书部门 - 负责处理接受请求的工作

负责公开Kubernetes API，负责处理接受请求的工作。 API 服务器是 Kubernetes 控制面的前端

API 服务器是集群统一入口，以 restful 风格进行操作，同时交给 etcd 存储，同时提供认证、授权、访问控制、API 注册和发现等机制。

kube-apiserver 设计上考虑了水平伸缩，也就是说，它可通过部署多个实例进行伸缩。 你可以运行 kube-apiserver 的多个实例，并在这些实例之间平衡流量

etcd - 资料部 - 存储集群中的相关数据

一致且高度可用的键值存储，用作K8s的所有集群数据的后台数据库，可以保存集群中的相关数据

Kubernetes 集群的 etcd 数据库通常需要有个备份计划，详细信息可以看这里

kube-scheduler - 调度者

节点调度，负责监视新创建的、未指定运行节点（node）的 Pods， 并选择节点来让 Pod 在上面运行。

调度决策考虑的因素包括单个 Pod 和 Pod 集合的资源需求、硬件/软件/策略约束、亲和性和反亲和性规范、数据位置、工作负载间的干扰和最后时限

kube-controller-manager - 决策者

负责运行控制器进程，处理集群中常规后台任务，一个资源对应一个控制器。包括：

• 节点控制器（Node Controller）：负责在节点出现故障时进行通知和响应。
• 任务控制器（Job Controller）：监测代表一次性任务的 Job 对象，然后创建 Pods 来运行这些任务直至完成
• 端点分片控制器（EndpointSlice controller）：填充端点分片（EndpointSlice）对象（以提供 Service 和 Pod 之间的链接）。
• 服务账号控制器（ServiceAccount controller）：为新的命名空间创建默认的服务账号（ServiceAccount）

cloud-controller-manager - 外联部

云控制器管理器是指嵌入特定云的控制逻辑的 控制平面组件。

云控制器管理器允许链接集群到云提供商的应用编程接口中，并把和该云平台交互的组件与只和您的集群交互的组件分离开。

cloud-controller-manager 仅运行特定于云平台的控制回路。

如果你在自己的环境中运行 Kubernetes，或者在本地计算机中运行学习环境，所部署的环境中不需要云控制器管理器。

与 kube-controller-manager 类似，cloud-controller-manager 将若干逻辑上独立的控制回路组合到同一个可执行文件中，供你以同一进程的方式运行。

你可以对其执行水平扩容（运行不止一个副本）以提升性能或者增强容错能力。

下面的控制器都包含对云平台驱动的依赖：

• 节点控制器（Node Controller）: 用于在节点终止响应后检查云提供商以确定节点是否已被删除
• 路由控制器（Route Controller）: 用于在底层云基础架构中设置路由
• 服务控制器（Service Controller）: 用于创建、更新和删除云提供商负载均衡器

3.2：Node 组件（worker Node，分厂)

节点组件会在每个节点上运行，负责维护运行的 Pod 并提供 Kubernetes 运行环境。

Worker Node有kubelet、kube-proxy等组成

kubelet - 单个厂的厂长

kubelet 会在集群中每个节点（node）上运行。 它保证容器（containers）都运行在 Pod 中。

kubelet 接收一组通过各类机制提供给它的 PodSpecs，确保这些 PodSpecs 中描述的容器处于运行状态且健康。

kubelet 不会管理不是由 Kubernetes 创建的容器。

kube-proxy - 门卫大爷

kube-proxy 是集群中每个节点（node）上所运行的网络代理， 实现 Kubernetes 服务（Service） 概念的一部分。

kube-proxy 维护节点上的一些网络规则， 这些网络规则会允许从集群内部或外部的网络会话与 Pod 进行网络通信。

如果操作系统提供了数据包过滤层并可用的话，kube-proxy 会通过它来实现网络规则。否则， kube-proxy 仅转发流量本身。

container-runtime

负责运行容器的软件。

Kubernetes 支持许多容器运行环境，例如 containerd、 CRI-O 以及 Kubernetes CRI (容器运行环境接口) 的其他任何实现。

3.3：总结类比一下

三：基于kubeadm搭建K8s环境

kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个 kubernetes 集群的部署：

1. 创建一个 Master 节点：kubeadm init
2. 将 Node 节点加入到当前集群中，kubeadm join <Master 节点的IP和端口>

1：环境说明

虚拟机配置如下

设备名称	参数信息
内存	8GB
处理器	2
硬盘	40G
CD/DVD(IDE)	正在使用文件
网络适配器	桥接模式(自动)
USB控制器	存在
显示器	自动检测

k8s节点设计

服务器类型	角色	IP地址
k8s-master	master	192.168.1.33
k8s-node1	node	192.168.1.31
k8s-node2	node	192.168.1.32

2：初始化所有节点

所有节点，需关闭防火墙规则，关闭selinux，关闭swap交换。

# 关闭防火墙
[root@localhost ~]# systemctl stop firewalld
# 禁用 firewalld 服务
[root@localhost ~]# systemctl disable firewalld
# 临时关闭 selinux
[root@localhost ~]# setenforce 0
[root@localhost ~]# iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
# 关闭 swap
# 临时关闭【立即生效】查看使用 free 命令
[root@localhost ~]# swapoff -a
# 永久关闭【重启生效】
[root@localhost ~]# sed -ri 's/.*swap.*/#&/' /etc/fstab
[root@localhost ~]# free -g
              total        used        free      shared  buff/cache   available
Mem:              7           4           1           0           0           2
Swap:             0           0           0

上面是以master为例，在node01、node02也需要执行

3：修改三台服务器主机名，并写入host文件

cat >> /etc/hosts << EOF
192.168.1.33 master
192.168.1.31 node01
192.168.1.32 node02
EOF

当然也可以使用hostnamectl set-hostname xxx设置主机名称，如下：

# 【master 节点上操作】
hostnamectl set-hostname master
# 【node01 节点上操作】
hostnamectl set-hostname node01
# 【node02 节点操作】
hostnamectl set-hostname node02

4：调整内核参数

将桥接的 IPV4 流量传递到 iptables 链。

cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

以master节点为例，node01、node02也需要执行：

接着在三个节点执行sysctl --system加载参数

sysctl --system

5：所有节点安装Docker(<— 正式开始)

Kubernetes 默认 CRI（容器运行时）为 Docker，因此先安装 Docker。以master节点为例，node01、node02也需要执行：

# 配置一下 Docker 的 yum 源【阿里云】
cat >/etc/yum.repos.d/docker.repo<<EOF
[docker-ce-edge]
name=Docker CE Edge - \$basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/\$basearch/edge
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF
 
# 然后 yum 方式安装 docker
yum -y install docker-ce
# 查看 docker 版本
docker --version
 
# 配置 docker 的镜像源【阿里云】
cat >> /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF
 
# 启动 docker
systemctl enable docker
systemctl start docker
systemctl status docker

6：所有节点配置K8S源

执行下面的命令， 配置 k8s 的 yum 源【阿里云】 ：

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

7：所有节点安装kubeadm，kubelet和kubectl

安装 kubelet、kubeadm、kubectl，同时指定版本：

[root@localhost ~]# yum install -y kubelet-1.21.3 kubeadm-1.21.3 kubectl-1.21.3

以master节点为例，node01、node02也需要执行

k8s通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

[root@localhost ~]# systemctl enable kubelet.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /usr/lib/systemd/system/kubelet.service.
[root@localhost ~]# systemctl start kubelet

8：部署 kubernetes Master 节点

这里只需要在master 节点上执行即可，在master节点（192.168.1.33）执行下面的脚本进行【集群初始化】：

kubeadm init \
    --apiserver-advertise-address=192.168.1.33 \
    --image-repository registry.aliyuncs.com/google_containers \
    --kubernetes-version v1.21.3 \
    --service-cidr=10.96.0.0/12 \
    --pod-network-cidr=10.244.0.0/16

由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址

执行上述命令会比较慢，因为后台其实已经在拉取镜像了，我们通过 docker images 命令即可查看已经拉取的镜像。

参数说明

kubeadm init \
    --apiserver-advertise-address=192.168.1.33 \ # 指定master监听的地址，修改为自己的master地址
    --image-repository registry.aliyuncs.com/google_containers \ # 指定为aliyun的下载源，最好用国内的
    --kubernetes-version v1.18.0 \ # 指定k8s版本，1.18.0版本比较稳定
    --service-cidr=10.96.0.0/12 \  # 设置集群内部的网络
    --pod-network-cidr=10.244.0.0/16 # 设置pod的网络
# service-cidr 和 pod-network-cidr 最好就用这个，不然需要修改后面的 kube-flannel.yaml 文件

回去看刚刚拉取的日志，有几个关键的信息：

通过注释，我们可以看到，如果要开始使用集群，需要执行上述框起来的脚本：

# 这组命令的目的是为当前用户设置kubectl的配置文件，以便能够使用kubectl命令来管理Kubernetes集群。

# 首先，它确保.kube目录存在；
mkdir -p $HOME/.kube

# 然后，将集群管理员的配置文件复制到用户的.kube目录下，并重命名为config；
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

# 最后，更改这个配置文件的所有权，使其属于当前用户。
sudo chown $(id -u):$(id -g) $HOME/.kube/config

9：k8s-node 节点加入 master 节点

这里我们只需要在node01（192.168.1.31）、node02（192.168.1.32）节点执行

我们直接复制前面一张图的kubeadm join脚本，将node01、node02两个节点加入到master集群中

注意只需要在node01、node02节点执行，不要在master节点上面执行，否则会报错。

# 将node加入到master(192.168.1.33)
kubeadm join 192.168.1.33:6443 \
	--token ailzq6.z3r7d3u0ov225p99 \
	--discovery-token-ca-cert-hash sha256:45c01d464d97fe9d14d42c91b629bbe561aba2508e9db823f81b00b911c8ccfa 

默认 token 有效期24小时，当过期之后，该 token 就不可用了。

这时就需要重新创建 token，操作如下：kubeadm token create --print-join-command

当我们把两个节点都加入进来后，就可以在master节点通过 kubectl get nodes 命令查看当前节点信息

我们可以看到，node01、node02都成功加入到master集群了，但是状态目前还是NotReady，需要安装网络插件，来进行联网访问。

10：master节点部署 CNI 网络插件

先从GitHub仓库下载 kube-flannel.yml：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

国外站点下载很慢，经常连不上，安装

kubectl apply -f http://120.78.77.38/file/kube-flannel.yaml

安装完CNI网络插件后，三个节点的状态就变成Ready了

我们使用 kubectl get pod -n kube-system 查看pod状态，可以看到，状态都是Running运行状态。

11：检查master节点

使用 kubectl get cs 检查master节点状态

我们看到controller-manager、scheduler 的状态为 unhealthy，表示不健康的状态。

我们需要修改配置文件：

vim /etc/kubernetes/manifests/kube-scheduler.yaml

将 --port=0注释掉

vim /etc/kubernetes/manifests/kube-controller-manager.yaml
将 --port=0注释掉

然后我们再次查询服务是否正常：

1.使用 kubectl get pods -A 命令查询所有pod是否正常运行

2.使用 kubectl get cs 命令查询master是否正常
3.使用 kubectl get nodes 命令查询node节点是否ready

12：测试 kubernetes 集群

在 Kubernetes 集群中创建一个 pod，这里我们使用k8s来部署nginx，验证是否正常运行。

# 闯将一个k8s应用，名称为nginx, 使用的镜像是nginx，如果没有这个镜像，会联网拉取 nginx 镜像
kubectl create deployment nginx --image=nginx
 
# 对这个k8s应用暴露端口,让其它外界能够访问
kubectl expose deployment nginx --port=80 --type=NodePort
 
# 查看状态
kubectl get pods

通过 kubectl get pods 和 kubectl get svc 命令我们可以看到k8s已经成功帮我们自动拉取nginx镜像，并运行了一个容器

暴露端口为：30140。

测试一下，master和node01、node02都能通过自己的IP的30140端口去访问

13：token制作

node 节点加入集群需要生成的 token，token 有效期为 24 小时，过期需要重新创建。

创建命令为：kubeadm token create --print-join-command

然后就可以执行复制上面的kubeadm join将node节点加入master集群中。