一、为什么需要链路追踪?

由于微服务化项目拆分,会导致系统服务间调用链路愈发复杂,此时,一个前端请求可能最终需要调用多个后端服务才能完成实现。

微服务间调用链路可能是这样:

当整个请求不可用出现问题时,我们是没有办法判断请求是由哪个服务端引发问题,这时我们需要浏览多个服务端的日志去快速定位故障点,找到调用异常的服务,跟进一个请求到底有哪些服务参与,参与顺序是怎样,从而达到每个请求的步骤清晰可见并且如果有新同事加入,不能快速的知道自己所负责的服务在哪一环等等,于是就有了分布式系统调用跟踪的需求。

链路追踪已经不是什么新兴技术和概念了,其可使用组件有很多,比如:sleuth、Zipkin、阿里鹰眼、大众点评Cat、SkyWalkIng等等…

这些组件有一个共同的名字: APM 工具 (Application Performance Management)即应用性能监控工具。

二、链路追踪组件之SkyWalking

(1)是什么是SkyWalking

 SkyWalking是中国人吴晟(华为)开源的一款APM工具,现在已属于Apache旗下开源项目, 是一个观察性分析平台和应用性能管理系统。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

(2)SkyWalkIng与ZipKin对比

至于为什么要采用此二者对比,因为我目前就用过这两个,zipkin是最早接触spring cloud项目用过,目前呢,是在学习SkyWalkIng。

ZipKin:Twitter公司开源的一个分布式追踪工具,被Spring Cloud Sleuth集成,使用广泛而稳定。

ZIpKIn优缺点:

优点:轻量级,springcloud集成,使用人数多,成熟。

缺点:侵入性,功能简单,欠缺APM报表能力(能力弱)。

Sleuth的作用是在系统中自动埋点并把数据发送给zipkin,zipkin的作用是存储这些数据并展现。

SkyWalking:中国人吴晟(华为)开源的一款分布式追踪,分析,告警的工具,现已属于Apache旗下开源项目。

SkyWalking 优缺点:

优点:多种监控手段多语言自动探针,Java,.NET Core 和 Node.JS,轻量高效,不需要大数据,模块化,UI、存储、集群管理多种机制可选,支持告警,社区活跃。

缺点:较为新兴,成熟度不够高。

(3) SkyWalking 组成部分

Probes:探针,探针因使用的语言不同而不通,收集数据并且格式化为skywalking所需的格式。

Platform backend :平台后端,对应于zipkin server,可以集群部署,聚合,分析,将数据展示在UI中。

Storage:存储,可扩展的存储,可以使es,H2,MySQL集群默认 h2。

UI :丰富的可视化功能,提供身份验证。

仪表盘:对项目的监控,看项目是如何运转的,链路过程情况。拓扑图:就是整个图形的演示。追踪:就是碰到一些问题。告警:碰到问题的告警。

官网架构图一:

官网架构图二:

三、SkyWalkIng的部署及使用

我们去官网下载es7-8.1.0 版本,下载界面如下:

解压之后,Windows环境中启动startup.bat,Linux环境中启动startup.sh即可(通过jps命令查看)。

 (1)本地开发部署探针处理(IDEA部署)

SkyWalkIng在我们的微服务项目中虽然不需要额外引入依赖包,但是为了给SkyWalkIng 发送我们的链路信息,实际上还需要一个探针。

Probes:探针,探针因使用的语言不同而不通,收集数据并且格式化为skywalking所需的格式。

因为我开发语言为java,则需要java探针,即Java Agent 服务器探针。

那么探针在哪里来呢?

Java Agent 服务器探针:

解压后,Java Agent 所处的位置在解压后文件夹

apache-skywalking-apm-es7-8.1.0\apache-skywalking-apm-bin-es7\agent 目录下:

我们需要给每个想要由SkyWalkIng管理的项目添加JVM 启动参数:

-javaagent:D:\skywalking\agent\skywalking-agent.jar 
-Dskywalking.agent.service_name=demo 
-Dskywalking.collector.backend_service=localhost:11800

启动项目后,我们再来看一下SKyWalkIng管理UI端(http://localhost:8080),有信息,则说明探针部署成功了。

(2)Jar包方式部署探针处理
java -javaagent:D:/google/apache-skywalking-apm-es7-8.0.1/apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar -Dskywalking.agent.service_name=demo -Dskywalking.collector.backend_service=localhost:11800 
-jar springcloud-demo-0.0.1-SNAPSHOT.jar

(3)Docker方式部署探针处理
1、部署Elasticsearch

拉取镜像

docker pull elasticsearch:7.6.2

指定单机启动

注:通过ES_JAVA_OPTS设置ES初始化内存,否则在验证时可能会起不来

docker run --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
--name='elasticsearch' --cpuset-cpus="1" -m 2G -d elasticsearch:7.6.2

验证es安装成功

浏览器地址栏输入:http://IP:9200/

可以安装 kibana 一起使用

2、部署Skywalking OAP

拉取镜像

docker pull apache/skywalking-oap-server:8.1.0-es7

启动Skywalking OAP

注:–link后面的第一个参数和elasticsearch容器名一致;

-e SW_STORAGE_ES_CLUSTER_NODES:es7也可改为你es服务器部署的Ip地址,即ip:9200

docker run -d --name skywalking-oap \
--restart=always \
-e TZ=Asia/Shanghai \
-p 12800:12800 \
-p 11800:11800 \
--link elasticsearch:elasticsearch \
-e SW_STORAGE=elasticsearch7 \
-e SW_STORAGE_ES_CLUSTER_NODES=elasticsearch:9200 \
apache/skywalking-oap-server:8.1.0-es7
3、部署Skywalking UI

拉取镜像

docker pull apache/skywalking-ui:8.1.0

启动Skywalking UI

注:–link后面的第一个参数和skywalking OAP容器名一致;

docker run -d --name skywalking-ui \
--restart=always \
-e TZ=Asia/Shanghai \
-p 8088:8080 \
--link oap:oap \
-e SW_OAP_ADDRESS=oap:12800 \
apache/skywalking-ui:8.1.0
4、应用程序配合Skywalking Agent部署

构建基础镜像,将我们的skywalking-agent 文件包含在内,提供给java服务使用

FROM centos:7

WORKDIR /app

RUN yum install -y wget && \
    yum install -y java-1.8.0-openjdk

ADD https://mirror.bit.edu.cn/apache/skywalking/8.1.0/apache-skywalking-apm-es7-8.1.0.tar.gz /app

RUN tar -xf apache-skywalking-apm-es7-8.1.0.tar.gz && \
    mv apache-skywalking-apm-bin-es7 skywalking

RUN ls /app


docker build -t base/skywalking:1.0 .

构建服务镜像 order-demo

FROM base/skywalking:1.0
 
COPY springcloud-order-1.0.jar /app/app.jar
 
EXPOSE 9002

ENTRYPOINT [“java”,
“-javaagent:/app/skywalking/agent/skywalking-agent.jar -Dskywalking.agent.service_name=order-demo -Dskywalking.collector.backend_service=xxxx:11800 -Dserver.port=9002 -jar app.jar”]
docker build -t order-demo:1.0 -f /docker/lei/Dockerfile  .
5、通过挂载的方式(推荐)

在启动脚本中把把服务器上的agent文件挂载在容器内部

-v /usr/local/apache-skywalking/agent/:/app/agent/  \

在Dockerfile文件中添加启动参数

ENTRYPOINT ["java", "-javaagent:/app/agent/skywalking-agent.jar","-Dskywalking.collector.backend_service=IP:11800","-Dskywalking.agent.service_name=order-demo"]
(4)k8s方式部署探针处理

先在服务器中部署elasticsearch用来做存储,在oap中修改以es来做存储方式。

1、创建skywalking-oap的yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: skywalking-oap
  namespace: default
  labels:
    app: skywalking-oap
spec:
  replicas: 1
  selector:
    matchLabels:
      app: skywalking-oap
  template:
    metadata:
      labels:
        app: skywalking-oap
    spec:
      containers:
	    - env:
         - name: SW_STORAGE
		   value: elasticsearch7  ##存储方式
		 - name: SW_STORAGE_ES_CLUSTER_NODES
		   value: 10.0.24.5:9200 ##es地址
          name: skywalking-oap
          image: apache/skywalking-oap-server:8.1.0-es7  ##镜像
          imagePullPolicy: IfNotPresent ##如果存在就不拉去取
          ports:
            - containerPort: 11800
              name: grpc
            - containerPort: 12800
              name: rest
---
apiVersion: v1
kind: Service
metadata:
  name: skywalking-oap
  namespace: default
  labels:
    service: skywalking-oap
spec:
  ports:
    - port: 12800
      name: rest
    - port: 11800
      name: grpc
  selector:
    app: skywalking-oap
2、创建skywalking-ui的yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: skywalking-ui
  namespace: default
  labels:
    app: skywalking-ui
spec:
  replicas: 1
  selector:
    matchLabels:
      app: skywalking-ui
  template:
    metadata:
      labels:
        app: skywalking-ui
    spec:
      containers:
        - name: skywalking-ui
          image: apache/skywalking-ui:8.1.0
          ports:
            - containerPort: 8080
              name: page
          env:
            - name: SW_OAP_ADDRESS
              value: skywalking-oap:12800 ##skywalking-oap监听端口
---
apiVersion: v1
kind: Service
metadata:
  name: skywalking-ui
  namespace: default
  labels:
    service: skywalking-ui
spec:
  ports:
    - port: 8080
      name: page
      nodePort: 30200
  type: NodePort
  selector:
    app: skywalking-ui
3、k8s中部署 skywalking-oap.yaml、skywalking-ui.yaml
kubectl create -f skywalking-oap.yaml
kubectl create -f skywalking-ui.yaml

4、k8s 部署项目增加skywalking链路追踪(通过挂载的方式)
apiVersion: extensions/v1beta1 #版本
kind: Deployment  #资源类型
metadata:
  labels:
    workload.user.cattle.io/workloadselector: deployment-cloud-web-monitor  #标签,k8s对于资源控制主要是根据labels和selector进行的
  name: web-monitor  #资源名称
  namespace: deafult #所属命名空间
spec:
  progressDeadlineSeconds: 600  
  replicas: 1  #一个pod
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: deployment-cloud-web-monitor
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate #发布策略
  template:    #创建模板
    metadata:
      labels:
        workload.user.cattle.io/workloadselector: deployment-cloud-web-monitor
    spec:
      containers:
      - env:
        - name: JAVA_OPTS
          value: -Xmx3550M -Xms3550M -Xmn2G -Xss256k
		- name: SKYWALKING_OPTS
          value: -javaagent:/skywalking/agent/skywalking-agent.jar -Dskywalking.agent.service_name=web-monitor -Dskywalking.collector.backend_service=skywalking-oap:11800
        image: 192.1.1.1/project/web-monitor:stable  #镜像
        imagePullPolicy: Always  #镜像拉取策略
        name: web-monitor   #容器名称
        ports:
        - containerPort: 8513  #暴露端口
          name: 8513tcp02
          protocol: TCP
        resources:
          limits:
            memory: 4Gi
        stdin: true
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        tty: true
        volumeMounts:  #容器内挂载点
        - mountPath: /log
         name: vol1
- mountPath: /skywalking/agent/    #挂载在容器内的路径
         name: skywalking
      dnsPolicy: ClusterFirst
      restartPolicy: Always  #重启策略
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
      volumes:  
      - name: vol1
        persistentVolumeClaim: #挂载的pvc
          claimName: log-pvc
      - name: skywalking  
        hostPath:
path:/usr/local/apache-skywalking/agent/   #宿主机挂载点

K8s快速生成yaml模板文件

kubectl create deployment nginx --image=nginx -o yaml --dry-run > mynginx.yaml
或者
kubectl get deploy nginx -o=yaml --export > mynginx2.yaml

四、配置SkyWalking日志收集(logback为例)

pom 中依赖 SkyWalking 的 logback 插件包:

<!-- SkyWalking log collection -->
<dependency>
  <groupId>org.apache.skywalking</groupId>
  <artifactId>apm-toolkit-logback-1.x</artifactId>
  <version>8.1.0</version>
</dependency>

添加或修改 logback.xml,启用 SkyWalking 提供的 appender,示例配置如下:

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="10 seconds">

  <appender name="stdout" class="ch.qos.logback.core.ConsoleAppender">
      <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
          <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
              <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
          </layout>
      </encoder>
  </appender>

  <appender name="grpc" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
      <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
          <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
              <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
          </layout>
      </encoder>
  </appender>
  
  <root level="INFO">
      <appender-ref ref="stdout"/>
      <appender-ref ref="grpc"/>
  </root>
</configuration>

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐