证书课程地址：Course | CCO-L1 | Tigera
还有一份可能有用的电子书：
Tigera_eBook_Intro_to_Kubernetes_Networking.pdf

Kubernetes Network Model

1. 每个 Pod 都有一个 IP 地址；
2. 同一个 Pod 中的容器共享同一 IP 地址，并能通过该地址相互通信；
3. Pod 与 Pod 之间可以通过 IP 通信（无需地址转换）；
4. 网络隔离可以限制哪里 Pod 可以访问哪些不可以。

安装测试集群

1
2
3
4

curl https://raw.githubusercontent.com/tigera/ccol1/main/control-init.yaml | multipass launch -n control -m 2048M 20.04 --cloud-init -
curl https://raw.githubusercontent.com/tigera/ccol1/main/node1-init.yaml | multipass launch -n node1 20.04 --cloud-init -
curl https://raw.githubusercontent.com/tigera/ccol1/main/node2-init.yaml | multipass launch -n node2 20.04 --cloud-init -
curl https://raw.githubusercontent.com/tigera/ccol1/main/host1-init.yaml | multipass launch -n host1 20.04 --cloud-init -

重启系统后，可能需要启动所有的虚拟机

1

multipass start --all

安装 Calico

4 种安装方式

• Manifest
• Operator
• Managed Kubernetes Services
• Kubernetes Distros and Installers

Operator 方式安装

可参考：Quickstart for Calico on Kubernetes
注意事项：

1. Pod 的网段
2. calico 版本与 kubernetes 版本之间的兼容关系（最好就用教程里面的安装命令）

   1 2 3 4 5 6 7 8 9 10 11 12 13 14

   kubectl create -f https://docs.projectcalico.org/archive/v3.21/manifests/tigera-operator.yaml cat <<EOF | kubectl apply -f - apiVersion: operator.tigera.io/v1 kind: Installation metadata: name: default spec: calicoNetwork: containerIPForwarding: Enabled ipPools: - cidr: 198.19.16.0/20 natOutgoing: Enabled encapsulation: None EOF

   删除 tigera-operator 命名空间

   1 2 3 4

   curl -H "Content-Type: application/json" \ -XPUT \ -d '{"apiVersion":"v1","kind":"Namespace","metadata":{"name":"tigera-operator"},"spec":{"finalizers":[]}}' \ http://localhost:8001/api/v1/namespaces/tigera-operator/finalize

   相关 Pod 的工作内容：

• tigera-operator/tigera-operator-xxxx-xxx

监听 Installation CR，并按照配置安装 calico CNI。

• calico-system/calico-node

DaemonSet，网络策略实现；设置Node节点上的路由；为 IPIP、VXLAN、WireGuard 管理虚拟接口。

• calico-system/calico-typha

StatefulSet，作为 calico-node 用来查询、监听 api-server 时的缓存层，避免直接访问 api-server。它由 tigera-operator 来随着 node 的变化，进行扩缩容。

• calico-system/calico-controller

calico 的各种 controller 集合，用于自动同步资源状态。

Service: This directs the traffic to a pod.
TargetPort: This is the actual port on which your application is running inside the container.
Port: Some times your application inside container serves different services on a different port.

Example: The actual application can run 8080 and health checks for this application can run on 8089 port of the container. So if you hit the service without port it doesn’t know to which port of the container it should redirect the request. Service needs to have a mapping so that it can hit the specific port of the container.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

kind: Service
apiVersion: v1
metadata:
  name: my-service
spec:
  selector:
    app: MyApp
  ports:
    - name: http
      nodePort: 30475
      port: 8089
      protocol: TCP
      targetPort: 8080
    - name: metrics
      nodePort: 31261
      port: 5555
      protocol: TCP
      targetPort: 5555
    - name: health
      nodePort: 30013
      port: 8443
      protocol: TCP
      targetPort: 8085

if you hit the my-service:8089 the traffic is routed to 8080 of the container(targetPort). Similarly, if you hit my-service:8443 then it is redirected to 8085 of the container(targetPort). But this myservice:8089 is internal to the kubernetes cluster and can be used when one application wants to communicate with another application. So to hit the service from outside the cluster someone needs to expose the port on the host machine on which kubernetes is running so that the traffic is redirected to a port of the container. This is node port(port exposed on the host machine). From the above example, you can hit the service from outside the cluster(Postman or any rest-client) by host_ip:nodePort

Say your host machine ip is 10.10.20.20 you can hit the http, metrics, health services by 10.10.20.20:30475, 10.10.20.20:31261, 10.10.20.20:30013.

Edits: Edited as per Raedwald comment.

浏览器访问服务 502 发现服务挂了 但是 docker 状态看起来还正常着服务跑在 Docker 容器里面
启动方式为：shell (pid -> 1) -> java ( pid != 1)

1. docker ps 能看见xxx的 STATUS 为 Up 4 days
2. docker top xxx 显示出来无进程
3. docker exec -it xxx bash 显示 cannot exec in a stopped state: unknown

docker logs 能看见日志 可以看见最后一行日志为 killed
docker stop 需要等待一段时间才能结束

Docker 版本：Docker Engine - Community 20.10.1

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

# ubuntu @ ucloud-hk in ~ [10:55:49]
$ docker version
Client: Docker Engine - Community
Version:           20.10.1
API version:       1.41
Go version:        go1.13.15
Git commit:        831ebea
Built:             Tue Dec 15 04:34:58 2020
OS/Arch:           linux/amd64
Context:           default
Experimental:      true

Server: Docker Engine - Community
Engine:
Version:          20.10.1
API version:      1.41 (minimum version 1.12)
Go version:       go1.13.15
Git commit:       f001486
Built:            Tue Dec 15 04:32:52 2020
OS/Arch:          linux/amd64
Experimental:     false
containerd:
Version:          1.4.3
GitCommit:        269548fa27e0089a8b8278fc4fc781d7f65a939b
runc:
Version:          1.0.0-rc92
GitCommit:        ff819c7e9184c13b7c2607fe6c30ae19403a7aff
docker-init:
Version:          0.19.0
GitCommit:        de40ad0

https://blog.csdn.net/zhangjikuan/article/details/114702299

必要的工具安装

• cfssl
• cfssljson
• kubectl

证书与CA

配置和生成kubeconfig

• kubelet 配置文件

worker-n.kubeconfig，分发到所有 worker 节点上。

• kube-proxy 配置文件

kube-proxy.kubeconfig，分发到所有 worker 节点上。

• kube-controller-manager 配置文件

kube-controller-manager.kubeconfig，分发到所有 控制节点 上。

• kube-scheduler 配置文件

kube-scheduler.kubeconfig，分发到所有 控制节点 上。

• Admin 配置文件

admin.kubeconfig，分发到所有 控制节点 上。

配置加密k8s secrets的秘钥

encryption-config.yaml，分发到所有 控制节点 上。

配置&部署etcd

前置要求：etcd & etcdctl 二进制
将 ca.pem、kubernetes-key.pem、kubernetes.pem 拷贝到 etcd 所在节点上，其中 kubernetes-key.pem、kubernetes.pem 作为 etcd https 服务的 TLS 证书。

配置&部署控制节点服务

前置要求：kube-apiserver & kube-controller-manager & kube-scheduler & kubectl 二进制

api-server

在其启动参数中，需要

1. 指定 CA 为 ca.pem
2. 指定 etcd 的 CA 证书 ca.pem，公私钥为 kubernetes-key.pem、kubernetes.pem、及 etcd 的访问地址
3. 指定 k8s secrets 的秘钥为 encryption-config.yaml
4. 指定 kubelet 的 CA 证书 ca.pem，公私钥为 kubernetes-key.pem、kubernetes.pem
5. 指定 api-server https 服务所用的 TLS 证书为 kubernetes-key.pem、kubernetes.pem
6. 指定 service account 的证书为 service-account.pem

controller-manager

在其启动参数中，需要

1. 指定 cluster 所使用的 CA 的公私钥为 ca.pem、ca-key.pem
2. 指定 kubeconfig 使用 kube-controller-manager.kubeconfig
3. 指定 root CA 为 ca.pem
4. 指定 service account 的私钥为 service-account-key.pem

scheduler

在启动参数中，指定配置文件 kube-scheduler.yaml，然后在 kube-scheduler.yaml 中指定 kubeconfig 为 kube-scheduler.kubeconfig。

启动控制面服务 & 验证

给 kubelet 添加数据处理权限

创建 system:kube-apiserver-to-kubelet ClusterRole 及 system:kube-apiserver ClusterRoleBinding 以允许请求 Kubelet API 和执行大部分来管理 Pods 的任务

配置&部署worker节点

1. 安装 OS 依赖的组件：socat conntrack ipset
2. 安装 CRI
3. 安装 worker 节点所需的二进制：kubectl、kube-proxy、kubelet、默认提供的 CNI plugins

配置kubelet

创建 kubelet-config.yaml 文件，在该文件中指定

1. CA 证书
2. TLS 公私钥分别使用 worker-1.pem、worker-1-key.pem。好家伙，kubelet 又是一个 https 服务。

并在 kubelet.service 指定

1. 配置文件使用文件
2. 指定 kubelet 所使用的 kubeconfig 为 worker-n.kubeconfig

配置kube-proxy

创建 kube-proxy-config.yaml 文件，在该文件中指定所用的 kubeconfig 为 kube-proxy.kubeconfig；再在 kubelet.service 指定使用此配置文件。

启动控制面服务

配置 kubectl 所使用的 kubeconfig

使用 admin.pem 和 admin-key.pem 生成 kubeconfig。

验证

1
2

kubectl get componentstatuses
kubectl get nodes

安装其他重要的组件

1. 安装 CNI
2. DNS
3. 验证

   1 2 3

   kubectl run busybox --image=busybox:1.28.3 --command -- sleep 3600 kubectl get pods -l run=busybox kubectl exec -ti $POD_NAME -- nslookup kubernetes

烟雾测试

1. 数据加密
2. Deployment
   1. 创建
   2. 端口转发
   3. 容器日志
   4. 在容器中执行命令
3. Service
   1. 创建
   2. 访问

为何如此设计

1. 解耦对存储的使用与维护
2. 拓展不同的存储需求

定义

PV 描述的是持久化存储数据卷。这个 API 对象主要定义的是⼀个持久化存储在宿主机上的⽬录，⽐如⼀个 NFS 的挂载⽬录。通常情况下，PV 对象是由运维⼈员事先创建在 Kubernetes 集群⾥待⽤的。_类似于接口的具体实现，干活的打工人。
PVC 描述的是 Pod 所希望使⽤的持久化存储的属性。PVC 对象通常由开发⼈员创建；或者以 PVC 模板的⽅式成为 StatefulSet 的⼀部分，然后由 StatefulSet 控制器负责创建带编号的 PVC。类似于接口，不提供具体实现_。

PV与PVC匹配绑定

规则

1. 两者的 spec 字段匹配
2. 两者的 storageClassName 字段必须相同

过程

通过 operator 机制，为每个未处于 Bound 状态的 PVC，遍历所有可用的 PV，来匹配到合适的 PV。

结果

在 PVC 的 spec.volumeName 字段上填写上 PV 的名称

两阶段处理

1. Attach 调用存储系统的 API 将存储挂载到 Pod 将要调度到的 Node 上；

由 AttachDetachController 管理。它不断地检查每⼀个 Pod 对应的 PV，和 这个 Pod 所在宿主机之间挂载情况。从⽽决定，是否需要对这个 PV 进⾏ Attach（或者 Dettach）操作。
作为⼀个 Kubernetes 内置的控制器，Volume Controller ⾃然是 kube-controller-manager 的⼀部分。所以，AttachDetachController 也⼀定是运⾏在 Master 节点上的。当然，Attach 操作只需要调⽤公有云或者具体存储项⽬的 API，并不需要在具体的宿主机上执⾏操作。

2. Mount
   1. 格式化存储设备
   2. 绑定挂载到 Pod 中

由 VolumeManagerReconciler 管理。它必须发⽣在 Pod 对应的宿主机上，所以必须是 kubelet 组件的⼀部分。它运⾏起来之后，是⼀个独⽴于 kubelet 主循环的 Goroutine（不堵塞 kubelet 主控循环）。

PV 管理方式

• Static Provisioning

创建 PVC 之后，由运维人员手动创建 PV 的方式

• Dynamic Provisioning

创建 PVC 时指定 StorageClass，由 StorageClass 中指定的 provisioner 来创建对应的 PV。

StorageClass

当 PVC 中指定的 StorageClass 存在时，调用对应的 provisioner 来创建 PV；否则去匹配带有相同 StorageClass 的 PV。
如果 PVC 中未指定 StorageClass，当集群已经开启了名叫 DefaultStorageClass 的 Admission Plugin时，它就会为 PVC 和 PV ⾃动添加⼀个默认的 StorageClass；否则，PVC 的 storageClassName 的值就是“”，这也意味着它只能够跟 storageClassName 也是“”的 PV 进⾏绑定。

本地持久化卷的实现

延迟绑定：当使用本地存储后，需要延迟 PV 与 PVC 之间的绑定时机到 Pod 调度时，避免出现 PV 与 Pod 不在同一节点上面的问题。

1
2
3
4
5
6

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
	name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

Windows系统默认不支持连接在防火墙NAT后的L2TP/IPSec协议VPN，但是可以通过修改注册表解决。

修改方法如下：

1. 定位注册表 ：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\PolicyAgent
2. 新建DWORD (32位)值，名称：AssumeUDPEncapsulationContextOnSendRule
3. 值填 2
4. 重启系统

In order to disable IPSec on Windows 7/Vista

1. Click Start, then in search box type: run ENTER
2. In the Run dialog type: regedit ENTER
3. In Registry Editor: Locate and then click the following registry subkey: HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Rasman\Parameters
4. On the Edit menu, click New>DWORD
5. As the name of the new key enter: ProhibitIpSec
6. Double click the key to edit the value.
7. In the Value data field, enter: 1
8. Quit Registry Editor, and then restart the computer.

当VPN启动后，还需要修改两项与路由相关的配置