【K8S系列】深入解析K8S监控

2023-07-06 21:11:20

序言

做一件事并不难，难的是在于坚持。坚持一下也不难，难的是坚持到底。

文章标记颜色说明：

  • 黄色：重要标题
  • 红色：用来标记结论
  • 绿色：用来标记论点
  • 蓝色：用来标记论点

Kubernetes (k8s) 是一个容器编排平台，允许在容器中运行应用程序和服务。今天学习一下k8s监控相关知识

希望这篇文章能让你不仅有一定的收获，而且可以愉快的学习，如果有什么建议，都可以留言和我交流

 专栏介绍

这是这篇文章所在的专栏，欢迎订阅：【深入解析k8s】专栏

简单介绍一下这个专栏要做的事：

Kubernetes是一个分布式系统，能够管理和编排容器化应用程序。其中，监控是一个非常重要的方面，可以帮助用户了解集群的健康状态、性能和可用性。

在本文中，将详细介绍Kubernetes监控的

  • 监控类型
  • 监控详解
  • 监控软件安装
  • 监问题思考

1 基础介绍

1.1监控的类型

在Kubernetes中，监控是一个非常重要的方面，可以帮助用户了解集群的健康状态、性能和可用性。根据监控的类型和范围，Kubernetes的监控可以分为以下几种类型：

  1. 集群层监控
  2. 节点层监控
  3. 应用层监控
  4. 日志监控

2 集群层监控

集群层监控是指对整个Kubernetes集群进行监控，包括节点、Pod、服务等。集群层监控通常会关注集群的资源使用情况、负载均衡、服务发现等方面的指标，以帮助用户了解集群的整体健康状态和性能状况。

常用的集群层监控工具包括Prometheus、Grafana、Heapster等。

2.1 监控原理 

Kubernetes的集群层监控通常是基于指标采集和存储的原理实现的。其基本流程如下：

  1. 指标采集
  2. 指标存储
  3. 数据可视化

2.1.1指标采集

Kubernetes集群中的各种组件和对象都会产生一些指标，如CPU、内存、磁盘、网络等。

这些指标可以通过各种方式进行采集，如Kubernetes API、容器运行时、系统监控工具等。不同的指标采集工具有不同的采集方式和频率，需要根据实际需求和资源限制进行选择和配置。

2.1.2 指标存储

采集到的指标需要进行存储和管理，以便后续的查询和分析。常用的指标存储工具包括Prometheus、InfluxDB、Elasticsearch等。这些工具可以将采集到的指标存储到数据库中，并提供一些查询和分析接口，以帮助用户了解集群的状态和健康状况。

2.1.3 数据可视化

存储的指标数据可以通过数据可视化工具进行展示，帮助用户更直观地了解集群的状态和健康状况。常用的数据可视化工具包括Grafana、Kubernetes Dashboard等。这些工具可以将指标数据转换成漂亮的图表和仪表盘，以帮助用户快速发现和解决问题。

总之，Kubernetes的集群层监控主要是基于指标采集、存储和展示的原理实现的。通过采集集群中各种组件和对象的指标数据，存储到指标存储工具中，并通过数据可视化工具展示给用户，可以帮助用户了解集群的状态和健康状况，及时发现和解决问题。

3 节点层监控

节点层监控是指对Kubernetes节点进行监控，包括节点的CPU、内存、磁盘、网络等指标。节点层监控通常会关注节点的负载状况、资源使用情况、容器状态等方面的指标，以帮助用户了解节点的健康状态和性能状况。

常用的节点层监控工具包括cAdvisor、Node Exporter等。

4 应用层监控 

应用层监控是指对Kubernetes中运行的应用程序进行监控，包括应用程序的CPU、内存、网络、磁盘等指标。应用层监控通常会关注应用程序的性能、错误、日志等方面的指标，以帮助用户了解应用程序的健康状态和性能状况。

常用的应用层监控工具包括Prometheus、ELK Stack、Zipkin等。

5 日志监控 

日志监控是指对Kubernetes集群中产生的日志进行监控，包括容器日志、系统日志、应用程序日志等。

日志监控通常会关注日志的格式、内容、数量等方面的指标，以帮助用户了解集群的运行状态和问题状况。

常用的日志监控工具包括ELK Stack、Fluentd等。

Kubernetes的监控类型非常多样化，可以根据实际需求和场景选择合适的监控工具和技术来实现监控。

在实际的使用中，需要根据监控的类型和范围进行配置和优化，以提高监控的效率和精度。

6 监控技术和工具 

以下是一些常用的集群层监控技术和工具：

  1. Prometheus + Grafana
  2. Heapster
  3. Kubernetes Dashboard
  4. Kube-state-metrics

1 Prometheus + Grafana

Prometheus和Grafana是Kubernetes中常用的监控工具，可以用于监控集群的资源使用情况和健康状态。

Prometheus可以收集和存储各种集群指标数据，如CPU、内存、磁盘、网络等，而Grafana可以将这些数据转换成漂亮的图表和仪表盘，帮助用户快速发现和解决问题。

此外，Prometheus还提供了一些自带的集群监控规则，可以帮助用户监控集群的状态和健康状况。

安装

下面是使用docker-compose安装Prometheus和Grafana的步骤：

  1. 创建一个目录用于存放docker-compose.yml文件和相关配置文件，如prometheus-grafana。

  2. 在该目录下创建docker-compose.yml文件，并添加以下内容：

version: '3.7'
services:
  prometheus:
    image: prom/prometheus
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - --config.file=/etc/prometheus/prometheus.yml
      - --storage.tsdb.path=/prometheus
  grafana:
    image: grafana/grafana
    container_name: grafana
    ports:
      - "3000:3000"
    volumes:
      - grafana-storage:/var/lib/grafana
volumes:
  grafana-storage:

这个docker-compose.yml文件定义了两个服务，一个是Prometheus，一个是Grafana。其中Prometheus会暴露9090端口，Grafana会暴露3000端口。

两个服务都会使用docker-compose.yml文件所在目录下的配置文件进行配置。

  1. 在该目录下创建prometheus.yml文件，并添加以下内容：
global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9090']
  - job_name: 'node'
    scrape_interval: 5s
    static_configs:
      - targets: ['node-exporter:9100']
  - job_name: 'cadvisor'
    scrape_interval: 5s
    static_configs:
      - targets: ['cadvisor:8080']
  - job_name: 'kubelet'
    scrape_interval: 5s
    static_configs:
      - targets: ['kubelet:10255']

这个prometheus.yml文件定义了一些基本的Scrape Configs，用于采集Kubernetes节点、cAdvisor、kubelet和Prometheus本身的指标数据。

  1. 在命令行中进入上面创建的目录，并运行以下命令以启动Prometheus和Grafana服务：
docker-compose up -d

这个命令会在后台启动docker-compose.yml文件中定义的服务。

  1. 打开浏览器，访问http://localhost:3000，即可进入Grafana的登录界面。使用默认用户名和密码（admin/admin）登录。

  2. 在Grafana中添加数据源。在左侧菜单栏中选择Configuration->Data Sources，并点击Add data source按钮。选择Prometheus作为数据源类型，然后填写Prometheus的地址http://prometheus:9090，点击Save & Test按钮测试连接是否成功。

  3. 在Grafana中导入Dashboard。Grafana提供了很多现成的Dashboard，用户可以根据自己的需求进行选择和导入。在左侧菜单栏中选择+ -> Import，然后选择一个Dashboard模板文件

至此，已经成功地使用docker-compose安装和配置了Prometheus和Grafana。可以在Grafana中查看和分析Prometheus采集到的Kubernetes集群指标数据。

2 Heapster

Heapster是一个Kubernetes集群监控和性能分析工具，它可以监控集群内所有容器的资源使用情况，并将数据存储到指定的后端存储中，如InfluxDB、Elasticsearch等。Heapster还提供了一些有用的命令行工具和API，可以帮助用户查询和分析数据，包括节点、Pod、容器等数据。

3 Kubernetes Dashboard

Kubernetes Dashboard是Kubernetes官方提供的Web界面，可以用于监控和管理Kubernetes集群。Dashboard提供了集群层监控的功能，可以显示集群的健康状态、资源使用情况、Pod和容器状态等信息。此外，Dashboard还提供了一些有用的管理功能，如Pod和容器的日志查询、事件查看等。

4 Kube-state-metrics

Kube-state-metrics是一个Kubernetes状态指标导出器，用于将Kubernetes中的各种对象状态指标导出为Prometheus格式。它可以导出各种对象的状态指标，如节点、Pod、服务、副本集、Deployment、DaemonSet等，帮助用户了解集群的状态和健康状况。

总之，Kubernetes的集群层监控非常重要，可以帮助用户了解集群的整体健康状态和性能状况。以上列出的工具和技术可以帮助用户实现集群层监控，但是需要根据实际需求和资源限制进行配置和优化，以提高监控的效率和精度。

7 问题思考

1 etcd的watch 监听

在Kubernetes中，etcd是一个高可用的分布式键值存储，用于存储Kubernetes集群的配置数据和状态信息。etcd提供了一些API接口，其中包括watch接口，可以用于监听etcd中指定目录的变化。etcd的watch机制非常强大，可以帮助用户实现实时的配置更新和状态同步。以下是一些关于etcd的watch监听的技术和实践：

1.1 监听etcd目录 

可以使用etcdctl命令或etcd的客户端库来监听etcd中指定目录下的键值变化。例如，使用etcdctl命令监听/mydir目录的变化可以使用以下命令：

etcdctl watch /mydir

当目录/mydir下的键值发生变化时，etcd会将变化通知给监听者。

1.2 使用etcd的客户端库 

etcd的客户端库提供了一些高级的watch机制，可以更灵活地实现对etcd的监听。例如，可以使用etcd的Go客户端库，通过Watch函数来实现对etcd目录的监听。以下是一个示例：

watcher := clientv3.NewWatcher(client)
watcher.Watch(context.Background(), "/mydir", clientv3.WithPrefix(), clientv3.WithPrevKV())
for {
    select {
    case resp := <-watcher.WatchChan():
        for _, event := range resp.Events {
            fmt.Printf("Event received! Type: %s Key: %s Value: %s\n", event.Type, event.Kv.Key, event.Kv.Value)
        }
    }
}

上述示例中，使用etcd的Go客户端库创建了一个Watcher实例，然后调用Watch函数来监听/mydir目录下的变化。当目录下的键值发生变化时，Watcher会将变化通知到WatchChan通道中，从而实现实时的更新和同步。

1.3 使用etcd的API接口 

除了etcd的客户端库，还可以使用etcd的API接口来实现对etcd的监听。etcd的API接口提供了一些高级的watch功能，如可取消的watch、多路复用的watch等。

以下是一个使用etcd的API接口实现的示例：

watcher := clientv3.NewWatcher(client)
ctx, cancel := context.WithCancel(context.Background())
watcher.Watch(ctx, "/mydir", clientv3.WithPrefix())
go func() {
    for {
        select {
        case resp := <-watcher.Chan():
            for _, event := range resp.Events {
                fmt.Printf("Event received! Type: %s Key: %s Value: %s\n", event.Type, event.Kv.Key, event.Kv.Value)
            }
        }
    }
}()
// 取消监听
time.Sleep(10 * time.Second)
cancel()

上述示例中，使用etcd的API接口创建了一个Watcher实例，然后调用Watch函数来监听/mydir目录下的变化。

使用context.WithCancel函数创建了一个可取消的context对象，用于在需要的时候取消监听。

当目录下的键值发生变化时，Watcher会将变化通知到Chan通道中，从而实现实时的更新和同步。

总之，etcd的watch机制可以帮助用户实现实时的配置更新和状态同步。根据实际需求和场景，可以选择合适的监听方式和技术，来实现对etcd的监听。

8 投票 

更多推荐

『吴秋霖赠书活动 ｜ 第二期』《ChatGPT原理与实战》

文章目录1.写在前面2.Tansformer架构模型3.ChatGPT原理4.提示学习与大模型能力的涌现4.1提示学习4.2上下文学习4.3思维链5.行业参考与建议5.1拥抱变化5.2定位清晰5.3合规可控5.4经验沉淀千模大战正酣，吃透ChatGPT是制胜关键！声明：赠书活动是博主与出版社达成合作，只属于粉丝的专属福

【Azure】微软 Azure 基础解析（九）Azure 标识、身份管理、Azure AD 的功能与用途

本系列博文还在更新中，收录在专栏：「Azure探秘：构建云计算世界」专栏中。本系列文章列表如下：【Azure】微软Azure基础解析（三）云计算运营中的CapEx与OpEx，如何区分CapEx与OpEx【Azure】微软Azure基础解析（四）Azure核心结构组件之数据中心、区域与区域对、可用区和地理区域【Azure

可编程交易区块为DeFi机器人提供强大动力

对于选择基金投资的人来说，一个基本指导原则就是寻找那些管理费最低的基金。资本应该是在运转，而不是用于支付费用。同样，MystenLab的Capy交易机器人利用可编程交易区块（ProgrammableTransactionBlocks，PTBs）将资本集中用于交易，而不是gas费，并且能够执行复杂的输入策略。Mysten

从人工测绘到无人机航测：探索测绘技术的巨大变革

在测绘领域，随着科技的不断进步，测绘技术也在不断演进。人工测绘、传统航测以及如今的无人机航测，每一次进步都为我们提供了更加精确和高效的地图数据。本文将带你深入探索这些技术的演变及其应用。一、人工测绘的时代早期的地图制作依赖于人工测绘，测量员们耗费大量时间和精力进行地面观测和数据记录。虽然人工测绘的精度一直被认为是比较可

【深度学习】Pytorch 系列教程（十三）：PyTorch数据结构：5、数据加载器（DataLoader）

目录一、前言二、实验环境三、PyTorch数据结构0、分类1、张量（Tensor）2、张量操作（TensorOperations）3、变量（Variable）4、数据集（Dataset）5、数据加载器（DataLoader）一、前言ChatGPT：PyTorch是一个开源的机器学习框架，广泛应用于深度学习领域。它提供了

什么是无人机全自动飞行系统？概念、构成、作用深度解析

无人机的工业化应用深入催生出新的痛点，无人机应用飞手培养难、成本高、技术参差不齐，以及应急响应和采集作业价值等没有得到充分释放，由此无人机自动飞行系统、无人机自动机场横空出世，因其无人化、自动化、无人机值守的应用特性，让工业无人机更紧密与行业结合并快速应用。从自动机场到全自动飞行系统在此前我们详细介绍过自动机场的定义和

Vulnhub实战-prime1

前言VulnHub是一个面向信息安全爱好者和专业人士的虚拟机（VM）漏洞测试平台。它提供了一系列特制的漏洞测试虚拟机镜像，供用户通过攻击和漏洞利用的练习来提升自己的安全技能。本次，我们本次测试的是prime1。一、主机发现和端口扫描查看Vmware中靶机的MAC地址，方便与之后nmap扫描出来的主机的MAC地址进行对比

如何把利用paddlepaddle导出的json文件转化为yolo或者voc文件

目录1.修改源码，让模型能够生成出对于单个图像的标注。2.把数据转为yolo格式3.把yolo格式转化为xml格式这两天想偷懒，想让模型先在数据上标一遍，然后我再做修正，主要是图个省事。由于我们主要是利用paddle,模型也是基于paddle推理的，因此即便我对paddle有一万个吐槽但也不得不用它。但在利用paddl

怎么为Web服务器配置虚拟主机？【步骤演示】

在安装了Web服务器Apache后，为了更好地使用Apache，还需要学习如何对Apache进行配置。在项目开发中，经常需要配置虚拟主机和访问权限，下面对Web服务器的配置进行详细讲解。配置虚拟主机在默认情况下，Apache只有Chwebapache2.4hndoes这一个站点目录，而在学习的过程中，可能需要用到多个站

Linux配置成代理服务器

Linux配置成代理服务器什么是代理服务器把Linux配置成代理服务器开放的代理服务器升级需要账号密码的代理服务器Linux系统使用代理服务器临时通过代理访问永久通过代理访问Windows系统使用代理服务器什么是代理服务器代理服务器（ProxyServer）是一种位于计算机网络中的中间服务器，它充当了客户端和目标服务器

redis的数据类型

redis数据类型redis的五种数据类型是：1、string（字符串）；2、hash（哈希）；3、list（列表）；4、set（集合）；5、sortset（有序集合）。其中，string（字符串）是redis中最基本的数据类型，一个key对应一个value，string可以包含任何数据字符串string字符串是所有编

热文推荐
  1. 剖析 Kubernetes 控制器：Deployment、ReplicaSet 和 StatefulSet 的功能与应用场景

    🌷🍁博主猫头虎带您GotoNewWorld.✨🍁🦄博客首页——猫头虎的博客🎐🐳《面试题大全专栏》文章图文并茂🦕生动形象🦖简单易学！欢迎大家来踩踩~🌺🌊《IDEA开发秘籍专栏》学会IDEA常用操作，工作效率翻倍~💐🌊《100天精通Golang(基础入门篇）》学会Golang语言，畅玩云原生，走遍大

  2. 【云原生】kubernetes关于存储（Volume）

    目录1卷Volume2卷的类型3使用方式4常见类型5PV&PVC1卷Volume官网地址:卷|KubernetesContainer中的文件在磁盘上是临时存放的，这给Container中运行的较重要的应用程序带来一些问题。问题之一是当容器崩溃时文件丢失。kubelet会重新启动容器，但容器会以干净的状态重启。第二个问题

  3. 云原生之深入解析如何使用Devtron简化K8S应用开发

    一、NeuVector简介①什么是NeuVector？NeuVector是业界首个端到端的开源容器安全平台，唯一为容器化工作负载提供企业级零信任安全的解决方案。NeuVector是业界领先的安全和合规解决方案，已被全球知名企业广泛采用；其代码库的开源不仅使NeuVector成为开源社区的首选技术，还为受严格监管的客户（

  4. 文举论金：黄金原油全面走势分析策略指导。

    市场没有绝对，涨跌没有定势，所以，对市场行情的涨跌平衡判断就是你的制胜法宝。欲望！有句意大利谚语：让金钱成为我们忠心耿耿的仆人，否则，它就会成为一个专横跋扈的主人。空头，多头都能赚钱，唯有贪心不能赚。是你掌控欲望还是欲望掌控你？古人云：不积硅步无以至千里，不积小流无以成江海。希望这句话成为我们之间的共勉。自知！人贵自知

  5. 百度 RT-DETR : 在实时目标检测上击败所有 YOLO ！

    论文地址：https://arxiv.org/abs/2304.08069代码地址：https://github.com/PaddlePaddle/PaddleDetection最近，基于端到端的Transformer检测器（DETRs）取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，这限制了它们的

  6. 【计算机网络】图解应用层协议

    图解应用层协议1.应用层2.远程登录2.1Telnet2.2SSH3.文件传输3.1FTP3.2TFTP4.电子邮件4.1通信架构4.2邮件地址4.3SMTP协议4.4POP3协议4.5IMAP协议5.WWW5.1URI5.2HTML5.3HTTP6.网络管理应用6.1DHCP协议6.2DNS协议1.应用层我们前面介绍

  7. 软件设计模式系列之七——原型模式

    1模式的定义原型模式（PrototypePattern）是一种创建型设计模式，其主要目的是通过复制现有对象来创建新对象，而不是使用构造函数。原型模式将对象的创建委托给原型对象，通过克隆（复制）来生成新对象，这种方式可以避免对象的重复初始化，提高性能，并使对象的创建更加灵活和动态。原型模式的关键思想是通过复制已有对象的属

  8. 【视觉SLAM入门】8. 回环检测，词袋模型，字典，感知，召回，机器学习

    "见人细过掩匿盖覆”1.意义2.做法2.1词袋模型和字典2.1.2感知偏差和感知变异2.1.2词袋2.1.3字典2.2匹配(相似度)计算3.提升前言：前端提取数据，后端优化数据，但误差会累计，需要回环检测构建全局一致的地图；1.意义通俗的讲，机器人两次经过同一个场景，为了检测是同一个场景，这就是回环检测。它可以用来构建

  9. 金融时间序列预测方法合集：CNN、LSTM、随机森林、ARMA预测股票价格（适用于时序问题）、相似度计算、各类评判指标绘图（数学建模科研适用）

    项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用CSDN平台，自主完成项目设计升级，提升自身的硬实力。专栏订阅：项目大全提升自身的硬实力[专栏详细介绍：项目设计