【业务功能109】微服务-springcloud-springboot-Skywalking-链路追踪-监控

2023-09-13 14:39:21

Skywalking

skywalking是一个apm系统，包含监控，追踪，并拥有故障诊断能力的 分布式系统

一、Skywalking介绍

1.什么是SkyWalking

  Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品，它同时吸收了Zipkin /Pinpoint /CAT 的设计思路。特点是：支持多种插件，UI功能较强，支持非侵入式埋点。目前使用厂商最多，版本更新较快。

  数据存储支持：Elasticsearch、MySQL、H2、TiDB。默认是H2，而且是存到内存。实际我们一般将其存到ES。

主页：http://skywalking.apache.org/
下载：https://skywalking.apache.org/downloads/
github：https://github.com/apache/skywalking
文档：https://github.com/apache/skywalking/tree/master/docs
配置：https://github.com/apache/skywalking/tree/master/docs/en/setup/backend

2.APM

  APM全称Application Performance Management应用性能管理，目的是通过各种探针采集数据，收集关键指标，同时搭配数据呈现以实现对应用程序性能管理和故障管理的系统化解决方案.

  Zabbix、Premetheus、open-falcon等监控系统主要关注服务器硬件指标与系统服务运行状态等，而APM系统则更重视程序内部执行过程指标和服务之间链路调用情况的监控，APM更有利于深入代码找到请求响应“慢”的根本问题，与Zabbix之类的监控是互补关系 目前市面上开源的APM系统主要有CAT、Zipkin、Pinpoint、SkyWalking，大都是参考Google的 Dapper实现的.

3.链路追踪工具对比

链路追踪工具一般要有如下功能：

  • 心跳检测（确定应用是否还在运行）
  • 记录请求的执行流程、执行时间
  • 资源监控（CPU、内存、带宽、磁盘）
  • 告警功能（监控执行时间、成功率等通过邮件、钉钉、短信、微信等进行通知）
  • 可视化页面

常用的工具有：

Zipkin
  Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。
Pinpoint
  韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无代码侵入。
SkyWalking
  本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能较强，接入端无代码侵入。目前已加入Apache孵化器。
CAT
  大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等一系列的监控平台工具。

各维度对比

对比项ZipkinPinpointSkyWalkingCat
实现方式拦截请求，发送(Http,MQ)数据到Zipkin服务Java探针，字节码增强Java探针，字节码增强代码埋点(拦截器，注解，过滤器等)
接入方式基于linkerd或者sleuth方式javaagent字节码javaagent字节码代码侵入
agent到collector协议http,MQthriftgRPChttp/tcp
OpenTracing支持不支持支持不支持
颗粒度接口级方法级方法级代码级
全局调用统计不支持支持支持支持
traceid查询支持不支持支持不支持
报警不支持支持支持支持
JVM监控不支持不支持支持支持
UI功能支持支持支持支持
数据存储ES、MySQL等HBaseES/H2/MySQLMySQL/HDFS

性能对比图

image.png

4.SkyWalking的功能特性

  1. 多种监控手段，通过语言探针和Service mesh 获得监控的数据
  2. 支持多种语言自动探针，包括 Java， .NET Core 和 Node.js
  3. 轻量高效，无需大数据平台和大量的服务器资源
  4. 模块化，UI，存储，集群管理都有多种机制可选
  5. 支持报警，告警
  6. 优秀的可视化解决方案

二、SkyWalking环境搭建

1.Skywalking结构

  先来看看Skywalking的结构图

image.png

说明：

  • Skywalking agent 和业务系统绑定在一起，负责收集各种监控数据
  • Skywalking oapservice负责处理监控数据，比如接受Skywalking agent的监控数据，并且存储在数据库中，接受Skywalking webapp前端的请求，从数据库查询数据，并返回给前端，Skywalking oapservice通常会以集群的方式搭建
  • Skywalking webapp ，UI服务，用于可视化展示数据
  • 用户持久化监控数据的数据库，可以选用ElasticSearch、MySQL等

2.Skywalking部署

  从官网提供的下载地址下载安装文件，我们先通过windows操作来演示下：https://skywalking.apache.org/downloads/

image.png

点击对应的下载链接下载即可

image.png

启动服务：

image.png

启动成功后会启动两个服务，一个是Skywalking-oap-server,一个是Skywalking-web-ui:8080

Skywalking-oap-server服务启动后会暴露11800和12800两个端口，分别为收集监控数据的端口11800和接收前端请求的端口12800，修改端口可以修改config/application.yml

image.png

默认端口8080，访问效果如下：

image.png

3.Java Agent

  在新版本中Agent是需要单独下载的。

image.png

下载后解压出来放在了前面Skywalking的解压目录中

image.png

三、服务接入

  然后我们就可以把我们的微服务接入到Skywalking中来监控链路的执行。

1.开发环境的配置

  首先来看看在开发环境中的配置，因为Skywalking是无侵入式的。我们只需要在启动的时候 idea中的启动类配置中的 VM options 设置参数配置即可

# skywalking-agent.jar 的路径位置
-javaagent:d:\xxx\skywalking-agent.jar
# 在Skywalking中显示的服务名称
-DSW_AGENT_NAME=xxx-skywalking-service
# Skywalking的collector服务的IP及端口
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

注意：-DSW_AGENT_COLLECTOR_BACKEND_SERVICES 可以指定远程服务，但是 -javaagent必须是本地的jar包.

2.gateway服务

  然后我们接入gateway的服务。在启动时设置对应的参数

image.png

启动服务后，我们进入Skywalking的UI服务中查看

image.png

可以看到有对应的服务信息，但是没有相关的链路信息，主要是因为默认Skywalking中是不支持Gateway的，我们需要显示的添加对应的gateway插件支持

image.png

从我们下载的agent包中的 optional-plugins中把gateway的jar拷贝的对应的plugins中即可

image.png

重启服务测试即可

image.png

3.对接多个服务

  接下来我们就可以把商城系统中的各个服务都对接到Skywalking中，给每个服务添加对应的配置

-Xmx512m
-javaagent:D:\software\apache-skywalking-apm-bin\skywalking-agent\skywalking-agent.jar
-DSW_AGENT_NAME=mall-product
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

分别启动

image.png

image.png

四、Skywalking持久化

  持久化数据到MySQL中。修改下config/application.yml配置，把原来默认的H2修改为MySQL就可以了。

image.png

mysql://localhost:3306/swtest?rewriteBatchedStatements=true&serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8

然后还需要把MySQL的驱动包拷贝到对应的目录中 oap-libs

image.png

然后重启服务即可,对应的数据库会自动生成表结构

image.png

五、自定义SkyWalking链路

  在默认情况下Skywalking是没有记录我们的业务方法的，只会追踪到controller层接口，如果需要添加业务方法的链路监控我们就需要添加如下的依赖

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-trace</artifactId>
    <version>8.8.0</version>
</dependency>

然后在业务方法上添加@Trace注解。那么该方法就会被监控

image.png

重启服务并访问：

image.png

但是查看这个方法的详情中没有返回信息和参数

image.png

这时我们可以通过@Tags和@Tag来解决这个问题

@Trace
    @Tags({
            @Tag(key = "getCatelog2JSON",value = "returnedObj"),
            @Tag(key = "param",value = "arg[0]")
    })

key:方法名 value = returnedObj:是指定返回值

arg[0]:参数

重启测试

image.png

六、集成日志框架

  将微服务的日志框架去集成SkyWalking，我们希望在我们微服务中日志中，能够记录当前调用链路的id，然后我们再根据这个id去SkyWalking的前端界面中进行搜索找到对应的调用链路记录。

  因为springboot默认实现的日志框架是logback，这里也就拿logback举例，使得调用链路的id可以显示在控制台，每当请求接口时，控制台就会输出对应的id，拿到id就可以在skywalking客户端去检索对应的链路，比较方便快速的找到。

在微服务中导入maven坐标

<!-- skywalking 日志记录  -->
<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.5.0</version>
</dependency>

在项目中 resources目录下创建 logback-spring.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level logger_name:%logger{36} - [%tid] - message:%msg%n</pattern>
            </layout>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="console" />
    </root>

</configuration>

在Skywalking UI的日志菜单中显示日志信息，那么就需要再配置文件中再增加一个日志配置信息

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <!--  控制台日志输出的格式中添加tid  -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level logger_name:%logger{36} - [%tid] - message:%msg%n</pattern>
            </layout>
        </encoder>
    </appender>

    <!-- skywalking grpc 日志收集 8.4.0版本开始支持 -->
    <appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="grpc-log" />
    </root>

</configuration>

前面的部署环境是在windows下，一般实际上我们都是安装在linux服务器上通过docker容器安装，那么这里还需要注意下，需要在前面安装下载出来的 skywalking-agent文件下 ->> conf ->> agent.config文件，添加以下的配置信息即可，server_host的ip换成所在的服务器ip即可

plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:127.0.0.1}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}

image.png

七、告警信息&信息推送

  • 在skywalking客户端上，有告警栏目，当我们请求接口时长过长时，会显示对应接口信息，而告警规则是在前面安装的 skywalking-apm-bin\config\alarm-settings.yml 配置文件中，默认响应配置了一些告警规则，比如10分钟内有多少次接口请求超过1s那么就会显示告警信息在页面上，提供用户查看
  • 而页面上看之外，我们也还可能将告警信息通知到我们的项目中，可以通过配置网络钩子，使得告警信息可以通过指定的接口请求返回给我们。webhooks:- http://127.0.0.1:8087/notify 地址就是指定的微服务的请求地址，如果有符合告警规则的请求场景，配置了这个网络钩子指定的接口，那么就会去自动发起请求接口，那么我们指定的接口，就可以用Object做参数，接收告警信息，接着在方法中做相关的信息推送比如发送邮件，短信等提醒推送功能

   @RestController
public class Api Controller {
    @PostMapping("/notify")
    public String getCurrentSeckillSessionSkus(@ResponseBody Object obj){
        System.out.println("obj="+ obj);
        return "Skywalking warning notify";
    }
更多推荐

00-从JAVA工程师的角度快速上手Python-基础语法

从JAVA工程师的角度快速上手Python-基础语法基础语法代码块和控制结构的表示变量和类型声明函数定义静态方法和类方法默认参数匿名函数函数式编程类型注解条件语句循环结构集合类型数组和列表列表切片字典操作迭代器生成器列表推导式和集合推导字符串操作函数调用和参数传递值传递方式对象传递方式模块和导入特殊方法（魔术方法）注释

StarRocks 社区：从初生到两周年的进化之路

2021年9月8日，StarRocks开源社区诞生。从第一天开始，我们怀揣着“打造世界一流的数据分析产品”的梦想，踏上了星辰大海的征途。两年间，StarRocks在GitHub上收获了5.4KStars，产品共迭代发布了90余个版本，288家市值超过10亿美元的头部用户在生产环境中上线运行。“不止步于极速”，StarR

如何使用Docker部署debezium来监控 MySQL 数据库

目录一、什么是Docker二、什么是debezium三、什么是MySQL四、如何使用Docker部署debezium来监控MySQL数据库一、什么是DockerDocker是一个开源的应用容器引擎，它让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows操作系统的机器上

Oracle系列十九：Oracle的体系结构

Oracle的体系结构1.物理结构2.内存结构2.1SGA2.2后台进程3.逻辑结构1.物理结构Oracle数据库的物理结构由参数文件、控制文件、数据文件和日志文件组成，用于存储和管理数据库的数据和元数据，每个文件都扮演着不可或缺的角色。参数文件用于配置数据库的初始化参数控制文件记录数据库的结构和状态信息数据文件存储了

Docker赋能物联网：探索软件供应链的优势、挑战和安全性

作者：JFrog大中华区总经理董任远随着联网设备硬件性能的日益提升及价格愈发低廉，物联网应用的复杂性随之提升。常用的容器化平台Docker能够帮助精简流程，助力开发人员更轻松地创建和维护物联网应用。本文将探讨Docker为物联网开发带来的优势，部署和维护应用程序时需考虑的挑战，以及如何将安全最佳实践应用于物联网。Doc

目前最流行的无人机摄影测量软件有哪些？各有什么特点？

文章目录1.Pix4Dmapper2.PhotoScan3.ContextCapture4.天工GodWork5.TrimbleInpho6.IMAGINEPhotogrammetry7.大疆智图推荐阅读：《无人机航空摄影测量精品教程》包括：无人机航测外业作业流程（像控点布设、航线规划、仿地飞行、航拍）和内业数据处理软

PDCA循环

目录1.认识PDCA：2.PDCA循环的经典案例3.PDCA的四个阶段和八个步骤4.PDCA循环的优缺点：5.案例6.其他作用1.认识PDCA：PDCA循环最早由美国质量统计控制之父Shewhat（休哈特）提出的PDS（PlanDoSee）演化而来，由美国质量管理专家戴明改进成为PDCA模式，所以又称为“戴明环”。PD

机器人中的数值优化（十七）—— 锥与对称锥

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考，主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例二十八、锥与对称锥1、尖锥锥是一种特殊的集合，当满足

【2023年11月第四版教材】第14章《沟通管理》（第一部分）

第14章《沟通管理》（第一部分）1章节说明2管理基础2.1沟通具体形式包括2.2沟通模型：★★★（17下41）（18下43）2.3沟通模型包含5种状态2.4沟通分类3管理过程3.1管理的过程★★★（21上42）（22上43）⑵下42）（22下43）（22下案例）3.2管理ITTO汇总★★★1章节说明【本章分值预测】大部

IP地址与代理IP：了解它们的基本概念和用途

在互联网世界中，IP地址和代理IP是两个常见但不同的概念，它们在网络通信、隐私保护和安全方面发挥着重要作用。本文将介绍什么是IP地址和代理IP，以及它们在网络中的作用和应用。IP地址是什么？IP地址，全称为InternetProtocolAddress，是互联网上设备的唯一标识符。它类似于房屋地址，帮助数据包找到它们需

软件测试用例经典方法 ｜ 单元测试法案例

单元测试又称模块测试，是对软件设计的最小单元的功能、性能、接口和设计约束等的正确性进行检验，检查程序在语法、格式和逻辑上的错误，并验证程序是否符合规范，以发现单元内部可能存在的各种缺陷。单元测试的对象是软件设计的最小单位——模块、函数或者类。在传统的结构化程序设计语言(如C语言)中，单元测试的对象一般是函数或者过程。在

热文推荐
  1. Meta-Transformer：基于Transformer的多模态感知，融合Token化与共享编码

    论文标题：Meta-Transformer:AUnifiedFrameworkforMultimodalLearning论文地址：https://arxiv.org/pdf/2307.10802.pdf这里写目录标题引言基于Transformer的多模态发展Meta-Transformer框架预备知识数据到序列如何分词

  2. 清华、IDEA、港中文联合发表的 DQ-DETR: Dual Query Detection Transformer for Phrase Extraction and Grounding论文阅读笔记

    清华、IDEA、港中文联合发表的DQ-DETR:DualQueryDetectionTransformerforPhraseExtractionandGrounding论文阅读笔记一、Abstract二、引言三、PEG&CMAP四、DQ-DETR双queries用于双端检测文本mask引导的注意力损失函数五、实验实施细

  3. 【C++】特殊类的设计

    文章目录1.设计一个类,不能被拷贝2.设计一个类,不能被继承3.设计一个类,只能在堆上创建对象3.设计一个类,只能在栈上创建对象4.创建一个类,只能创建一个对象(单例模式)饿汉模式懒汉模式1.设计一个类,不能被拷贝💕C++98方式：在C++11之前，想要一个一个类不被拷贝，只有将拷贝构造函数定义为私有，这样在类外就不

  4. RIS 系列 TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer 论文阅读笔记

    RIS系列TransVG++:End-to-EndVisualGroundingwithLanguageConditionedVisionTransformer论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位两阶段方法单阶段方法视觉编码器的融合3.2Transformer视觉任务中的Transform

  5. MFC-GetSystemFirmwareTable获取系统固件表

    获取ACPI表格voidCgetSystemFirmwareTableDlg::OnBnClickedButton1(){//UINTbufferSize=GetSystemFirmwareTable('ACPI',0,NULL,0);//获取系统固件表/*【参数3和参数4为NULL和0，只是为了返回真实大小】这个函数

  6. JUC第五讲：关键字synchronized详解

    JUC第五讲：关键字synchronized详解在C程序代码中我们可以利用操作系统提供的互斥锁来实现同步块的互斥访问及线程的阻塞及唤醒等工作。在Java中除了提供LockAPI外，还在语法层面上提供了synchronized关键字来实现互斥同步原语,本文是JUC第五讲，将对synchronized关键字详细分析。文章目

  7. FatFS文件系统在MCU上的应用

    FatFS文件系统是单片机领域有名的一个文件系统，由于它的轻量级和兼容性，备受MCU开发者青睐。在实现如U盘文件读写，SD卡的文件读写等工作时，我们往往需要一个文件系统来支持我们的工作。特别在一些MCU应用中，文件系统的加入能明显改善系统交互的友好性。在这一篇中，我们就来讨论FatFS文件系统在STM32F4上的移植和

  8. 华为云认证考试包含哪些内容？

    华为云计算认证考试包含哪些内容？华为云计算认证涵盖了hcia、HCIP、HCIE三个级别的认证。HCIA云计算方向只要考一门笔试，考试覆盖基础通识知识、虚拟化FusionCompute、桌面云FusionAccess、云计算发展趋势共四大模块知识点，包括云计算概述、服务器基础、存储技术基础、网络技术基础、操作系统基础、

  9. 华为云云耀云服务器实例使用教学

    目录国内免费云服务器（体验）认识国内免费云服务器如何开通国内免费云服务器云耀云服务器HECSXshell远程连接云服务器更改安全组切换操作系统服务器详情HECS适用于哪些场景？网站搭建电商建设开发测试环境云端学习环境为什么选择华为云耀云服务器HECS国内免费云服务器（体验）云服务器_国内免费云服务器_免费云服务器_华为