不会Nginx Ingress可观测，你还算的上运维工程师吗？

显示全部楼层 · 2022-3-29 17:27:22

Kubernetes 提供了四层代理用来访问部署在 Pod 中的应用，这种具有四层代理的 Service ，Kubernetes 提供了四种访问方式：

ClusterIP：供集群内的其它应用访问，外部无法访问。( l* ] E6 n, D8 A+ E. p
NodePort：所有节点上开放指定端口，外部可以通过IP+端口访问服务，如果没有指定 NodePort 的端口，默认会随机分配一个30000–32767的端口。
. X% r# W4 W$ \' r
LoadBalancer：在 NodePort 基础上，使用云服务商提供的负载均衡器，把流量转发到服务中。
. |2 @0 m" `; U# f9 @
ExternalName：通过返回 CNAME 和它的值，可以将服务映射到 externalName 字段的内容。
: W8 D; u3 P' W- J, P

上述的四种方式都不能满足通过域名来访问集群中的应用，为了通过域名访问部署在 Kubernetes 中的应用，最简单的方式就是在集群中部署一个七层代理 Nginx ，通过域名来转发到对应的 Service 。如果有新的部署时，就需要更新一下 Nginx 的配置。为了达到更新配置时其它应用无感知， Ingress 出现了。

Ingress 可以把 http 和 https 的请求转发到 Kubernetes 集群内部的服务上，最终访问 Service 后端的Pod。可以将 Ingress 配置为 Service 提供外部可访问的 URL、负载均衡流量、提供基于域名的虚拟主机。

Ingress 包含两大组件 Ingress Controller和 Ingress ，常用的 Ingress 有traefik Ingress 和 Nginx Ingress ，本文以 Nginx Ingress 为例。 Ingress Controller 通过与 Kubernetes 的 api 进行交互，动态感知 Kubernetes 集群中 Ingress 服务规则的变化，然后读取这些规则，并按照 Ingress 的规则，转发到 Kubernetes 集群中对应的 Service 上。 Ingress 就是配置这些规则，规则写明了哪个域名对应 Kubernetes 集群中的哪个 Service ，然后根据 Ingress Controller中 Nginx 配置的模板，生成一段对应的 Nginx 配置， Ingress Controller再动态加载这些配置，并把这些配置写入 Ingress Controller 的 Pod 里面运行的 Nginx 服务里，然后reload 一下，使配置生效。

对于部署了 Ingress 的 Kubernetes 集群，我们对 Ingress Controller的 CPU 使用、内存占用、配置文件加载、转发成功率等资源的观测变得非常有必要了。

Ingress 工作原理：

客户端发起http://myNginx.com请求。
/ a2 c$ t" ]" z# I% \0 d* ~ Z
客户端的 DNS 服务器返回 Ingress 控制器的 IP。
2 R+ x9 i1 w1 u, r! h2 i
客户端向 Ingress 控制器发送http请求，并在 Host 头中指定myNginx.com。
4 e4 t+ z( L( d. Q" e
控制器接收到请求后，从头部确定客户端尝试访问哪个服务，通过与该服务关联的 endpoint 对象查看到 pod的 IP。
8 _ X7 V- ]7 p9 X% g" ?
客户端的请求被转发给具体的 pod 执行。" o2 l' `/ D6 l; ]/ v

前置条件
1. 安装 Kubernetes
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.1.1/deploy/static/provider/baremetal/deploy.yaml<hr>2. 安装 DataKit

登录观测云，【集成】->【Datakit】-> 【Kubernetes】。

【观测云】https://console.guance.com/

3. 部署 Ingress

生产环境推荐使用 DaemonSet 方式部署 Ingress ，并设置 hosetNetwork 为 true，让 Nginx 直接使用宿主机的网络，然后通过云厂商提供的负载均衡访问 Ingress 。

（1）下载 deploy.yaml

wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.1.1/deploy/static/provider/baremetal/deploy.yaml

（2）编辑 deploy.yaml

2.1 替换镜像

使用下面的镜像替换 deploy.yaml 文件中使用的镜像

registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.1.1registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.12.2 修改 Deployment 资源文件

找到kind: Deployment部分，修改如下内容：

kind: DaemonSet #修改 ... hostNetwork: true #新增 dnsPolicy: ClusterFirstWithHostNet #修改

kubectl apply -f deploy.yaml

指标采集
1. 开启 Input

观测云接入 Ingress 指标数据，需要 datakit 开启 prom 插件，在 prom 插件配置中指定 exporter 的 url，在 Kubernetes 集群中采集 Ingress Controller指标，推荐使用 annotations 增加注解的方式。打开部署 Ingress 的deploy.yaml 文件，找到上步中修改的 DaemonSet 部分，增加 annotations。

annotations: datakit/prom.instances: | [[inputs.prom]] url = "http://$IP:10254/metrics" source = "prom-ingress" metric_types = ["counter", "gauge", "histogram"] # metric_name_filter = ["cpu"] # measurement_prefix = "" measurement_name = "prom_ingress" interval = "10s" # tags_ignore = ["xxxx"] [[inputs.prom.measurements]] prefix = "nginx_ingress_controller_" name = "prom_ingress" [inputs.prom.tags] namespace = "$NAMESPACE" pod_name = "$PODNAME"

参数说明

url: Exporter URLs，多个url用逗号分割，示例["http://127.0.0.1:9100/metrics", "http://127.0.0.1:9200/metrics"]
2 ]7 a$ R7 W" `. m5 f2 b* x. y
source: 采集器别名( P. D/ k1 n& Y7 \- A7 ?
metric_types: 指标类型，可选值是 counter, gauge, histogram, summary
( {; u! O0 p5 U7 g% X
measurement_name: 指标集名称
' v# A4 Z3 ^+ Z. o. [
interval: 采集频率8 ~1 y/ I% `2 t" @ v
inputs.prom.measurements: 指标集为 prefix 的前缀归为 name 的指标集
- L4 j; m) B/ B9 m% @* d3 {( i

annotations中支持如下几个通配符：

$IP：通配 Pod 的内网 IP. D! G$ ~9 t3 \
$NAMESPACE：Pod Namespace
- i# T# ^( l" H% y' s
$PODNAME：Pod Name8 W$ ^, Z; _: T; }; J

2. 重启 Ingress Controller
kubectl delete -f deploy.yaml
kubectl apply -f deploy.yam
3. 演示案例

编写 Nginx 的部署文件 nginx-deployment.yaml。

apiVersion: apps/v1kind: Deploymentmetadata: name: nginx-deploymentspec: selector: matchLabels: app: backend replicas: 1 template: metadata: labels: app: backend spec: # nodeName: df-k8s-node2 containers: - name: nginx image: nginx:latest resources: limits: memory: "128Mi" cpu: "128m" ports: - containerPort: 80 ---apiVersion: v1kind: Servicemetadata: name: nginx-servicespec: selector: app: backend ports: - port: 80 targetPort: 80

编写对应的 nginx-ingress .yaml，根据这个规则，如果域名是mynginx .com则转发到 Nginx - Service 这个 Service 。

apiVersion: networking.k8s.io/v1kind: Ingressmetadata: name: nodeport-ingress namespace: default spec: rules: - host: mynginx.com http: paths: - pathType: Prefix path: / backend: service: name: nginx-service port: number: 80

部署示例

kubectl apply -f nginx-deployment.yamlkubectl apply -f nginx-ingress.yaml

测试请求，其中8.136.204.98是 Kubernetes 集群中部署了 Ingress 的节点ip，mynginx.com是 nginx-ingress .yaml中对应的host。

curl -v http://8.136.204.98 -H 'host: mynginx.com'4. 查看指标数据

登录观测云，【指标】-> 找到 prom_ Ingress 指标，其中 prom_ Ingress 是 annotations 中measurement_name 参数的值。