开发人员,不应该只会Coding

应知应会岗位:开发、实施、测试。

 

 

我们的应用运行在linux 上,很多同事对命令行操作有恐惧感,于是为了分析 linux 上程序的日志,采用的是 FTP+Ultraedit 方法。这种方式不方便、实时性不够,也不够专业。如果碰到几百兆甚至上G 的日志文件,这种分析方式的效率也很成问题,尤其是需要实施跟踪日志的情况下。

 

于是我把在 linux 上分析程序日志的几个常用指令及其配合使用总结一下,希望对大家有所帮助。

 

指令介绍:

more
作用:该指令,可以将文件的内容,从前向后,每次一屏,打印到终端屏幕上。
用法:

more filename

显示一屏信息后,' 空格' 向下翻一屏,' 回车' 向下翻一行,' q ' 退出。

 

cat
作用:该指令本来的作用,是将多个文件的内容合并起来,打印到标准输出,但最常见的用法是显示一个文件的内容,但文件比较大的情况,屏幕会很快滚动,无法查看有效信息,建议使用 more
用法:

cat filename

 

grep
作用:打印文件或者标准输入中符合特定模式的行,该指令是从日志文件中检索特定信息的最有效手段。
用法:

1、  基本用法
grep pattern filename
如:
grep "error" catalina.out
可以将 tomcat 日志 catalina.out 中所有包含 error 的行显示出来

2、  使用正则表达式
grep -e "pattern" filename
如:
grep -e "[eE]rror" catalina.out
可以将 tomcat 日志 catalina.out 中所有包含 error 或者 Error 的行显示出来

3、  常用选项
-i 匹配时忽略大小写
-n 在打印的行前显示该行在原文件中的行号

-v 该选项,将 grep 的默认行为翻转,打印那些不包含特定模式的行

wc
作用:统计文件中的行数、字数和字节数
用法:

wc filename

如:
[service@localhost threshold]$ wc nohup.out
   9761028   76738200 1672741676 nohup.out
从前到后的三个数分别是行数、字数、字节数。

该指令比较常用的参数是 -l ,这个参数可以只统计行数
[service@localhost threshold]$ wc -l nohup.out
   9761028  nohup.out

 

head:
作用:显示文件的开头 N
用法:

       head -num filename

如:
       head -100 catalina.out
       显示 catalina.out 的前 100

 

tail
作用:显示文件的最后 N 行,或者实时显示文件中新增的内容。
用法:

1、  显示文件最后 N
tail -num filename
如:
tail -100 catalina.out
则显示 catalina.out 文件的最后 100

2、  实时显示文件中新增内容
tail -f filename
如:
tail -f catalina.out
执行该指令,不会直接返回命令行,而是实时打印日志文件中新增加的内容,这一特性,对于查看日志是非常有效的。如果想终止输出,按 Ctrl+C 即可。

 

Linux/unix 的管道:
管道,顾名思义,你可以把它理解为一个管子,这个管子连接的是前一个指令的输出和后一个指令的输入。管道在命令行上用一个竖线 '|' 表示。
比如

echo 'hello world'
在屏幕上打印一行字,而
echo 'hello world' | wc –l
就是把 echo 的输出送给 wc 指令, wc 指令统计行数,输出结果为:
1

 

 

组合使用:
通过分析日志来查找问题,其本质是在日志中寻找特定的模式,并定位该模式的出现的上下文(一般要求前后 N 行)。在实际应用场景中,我们更多的是组合使用前面介绍的指令,来快速定位对我们有用的日志信息。

 

以下场景,我们假定日志文件名为 catalina.out

 

场景一 实时跟踪日志文件 并过滤出包含特定关键字的日志
       tail -f catalina.out | grep " 关键字 "
以上指令组合 catalina.out 中新增的日志实时取出 通过管道送给 grep 指令 grep 指令将其中包含 " 关键字 " 的行显示在 console 直到用户按 ctrl+c 退出。管道可以多次连接,所以你可以在后面增加更多的 grep 来得到更加精确的过滤结果。
比如:
       tail -f catalina.out | grep " 关键字 " | grep -v "debug"
以上指令组合,将显示所有包含" 关键字" 且不包含" debug " 的行。

 

场景二 :寻找日志中某个异常的 stacktrace 和前后相关信息
      
第一步:定位出现异常的行, java 的异常,通常包含 Exception 字样  
              grep -n "Exception" catalina.out
      
该指令的 -n 参数会打印符合条件的行的行号,示例输出如下:

[itims@localhost logs]$ grep -n "Exception" catalina.out
33642:java.lang.NullPointerException
33910:java.lang.NullPointerException
34213:java.lang.NullPointerException
34523:java.lang.NullPointerException
34597:java.lang.NullPointerException

第二步 截取 Exception 所在行的前后各 10 行。
比如我们想关注 33910 行的 NullPointerException 可以用如下指令
head -33920 catalina.out | tail -20
该指令会得到如下输出

[itims@localhost logs]$ head -33920 catalina.out | tail -20

Asia/Shanghai

CN

/usr/local/jdk1.5.0_12/jre

Thu Sep 17 11:13:00 GMT+08:00 2009

17 Sep 2009 03:13:00 GMT

2009-9-17 11:13:00

2009-09-17 11:13:00

java.util.GregorianCalendar[time=1253157180432,areFieldsSet=true,areAllFieldsSet=true,lenient=true,zone=sun.util.calendar.ZoneInfo[id="GMT+08:00",offset=28800000,dstSavings=0,useDaylight=false,transitions=0,lastRule=null],firstDayOfWeek=1,minimalDaysInFirstWeek=1,ERA=1,YEAR=2009,MONTH=8,WEEK_OF_YEAR=38,WEEK_OF_MONTH=3,DAY_OF_MONTH=17,DAY_OF_YEAR=260,DAY_OF_WEEK=5,DAY_OF_WEEK_IN_MONTH=3,AM_PM=0,HOUR=11,HOUR_OF_DAY=11,MINUTE=13,SECOND=0,MILLISECOND=432,ZONE_OFFSET=28800000,DST_OFFSET=0]

null

java.lang.NullPointerException

        at itims.share.db.GlobalTransaction.rollback(GlobalTransaction.java:125)

        at itims.web.frmwk.NetElementService.deleteNetelement(NetElementService.java:292)

        at org.apache.jsp.frmwk.deletene_jsp._jspService(deletene_jsp.java:77)

        at org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:98)

        at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)

        at org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:331)

        at org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:329)

        at org.apache.jasper.servlet.JspServlet.service(JspServlet.java:265)

        at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)

        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:269)

 

 

 

 

 

GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:2 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐