目录：
一、概述
二、awk基本语法格式
三、awk基本操作
四、awk条件及循环语句
五、awk函数
六、awk演示示例(源自于man手册)

一、概述


1. 产品概述：


    awk是一种编程语言，用于在linux/unix下对文本和数据进行扫描与处理。数据可以来自标准输入、文件、管道。
    awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Peter Weinberger、Brian Kernighan。
    实际上awk有很多种版本，如：awk、nawk、mawk、gawk、MKS awk、tawk...  这其中有开源产品也有商业产品。
    目前在Linux中常用的awk编译器版本有mawk,gawk，其中以RedHat为代表使用的是gawk，以Ubuntu为代表使用的是mawk。
    gawk是GNU Project 的awk解释器的开源代码实现。
    本文将以gawk作为讲解工具。

2. 原理：


    1). awk逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，并在这些行上进行你想要的操作。
    2). awk基本结构包括模式匹配(用于找到要处理的行)和处理过程(即处理动作)。
       pattern  {action}

  # 提示：awk读取文件内容的每一行时，将对比改行是否与给定的模式相匹配，如果匹配则执行处理过程，否则对该行不做任何处理。
如果没有指定处理脚本，则把匹配的行显示到标准输出，即默认处理动作是print打印行；
如果没有指定模式匹配，则默认匹配所有数据。

      3). awk有两个特殊的模式：BEGIN和END，他们被放置在没有读取任何数据之前以及在所有数据读取完成以后执行。

3. awk流程图：

awk处理过程

  提示：awk将文件中的每一行当作一条记录，并将记录分割为若干字段，默认以空格或制表符为分隔符。

如This   is   a    test    file.    将分割为5个字段，awk可以对这5个字段进行分别处理。

二、awk基本语法格式


1. 格式：

gawk [ POSIX or GNU style options ] -f program-file [ -- ] file ...

注释：POSIX or GNU style options表示gawk支持POSIX以及GNU两种选项；-f后接脚本文件；file表示准备处理的文档名称。

2. gawk支持以下选项：


     -F fs
         --field-separator fs
     指定以fs作为输入行的分隔符(默认分隔符为空格或制表符)
     -v var=val
         --assign var=val
     在执行处理过程以前，设置一个变量var值为val
     -f program-file
     --file program-file
    从脚本文件中读取AWK指令，以取代在命令参数中输入处理脚本
    -W compat
    -W traditional
    --compat
    --traditional
    使用兼容模式运行awk，GNU扩展选项将被忽略
    -W copyleft
        -W copyright
        --copyleft
        --copyright
    输出简短的GNU版权信息
    -W dump-variables[=file]
        --dump-variables[=file]
    打印全局变量(变量名、类型、值)到文件中，如果没有提供文件名，则自动输出至名为dump-variables的文件中。
    示例： 

awk -W dump-variables=out.txt 'x=1 {print x}' test.txt

    -W exec file
    --exec file
    类似于-f选项，但脚本文件需要以#!开头；另外命令行的变量将不再生效
    -W help
        -W usage
        --help
        --usage
    显示各个选项的简短描述

3. awk程序结构


    一个awk程序包含一系列的  模式 {动作指令} 或是函数定义。
    模式可以是：
    BEGIN
    END
    表达式
    表达式，表达式
    动作指令需要以{}引起来

4. 简单示例：

    

awk '/^$/ {print "Blank line}' test.txt

    备注：/^$/通过正则表达式匹配空白行，动作为打印Blank line；即test.txt如有N个空白行，awk将在屏幕打印N个Blank line。

awk '/HOSTNAME/' /etc/sysconfig/network

    备注：打印包含主机名的行，因为没有指定动作指令，默认动作为打印。

cat awk.sh
'/^$/ {print "Blank line}'
awk -f awk.sh test.txt

    备注：提前编辑一个awk脚本再通过-f选项调用该脚本。

三、awk基本操作


1. 记录与字段


    awk一次从文件中读取一条记录，并将记录存储在字段变量$0中。记录被分割为字段并存储在$1,$2 ..., $NF中(默认使用空格或制表符为分隔符)。
    内建变量NF为记录的字段个数
    示例： 

echo hello the world | awk '{print  $1,$2,$3}'

      备注：读取输入行并输出第一个字段，第二个字段，第三个字段。

echo hello the world | awk '{print  $0}'

    备注：读取输入行并输出该行。

echo hello the world | awk '{print NF}'

    备注：读取输入行并输出该行的字段个数：3个字段。 

echo hello the world | awk '{print $NF}'

    备注：读取输入行并输出该行的第三个字段，因为NF为3，所以$NF等同于取行的最后一个字段。

2. 字段分隔符


    默认awk读取数据以空格或制表符作为分隔符，但可以通过-F或FS(field separator)变量来改变分隔符。
    示例： 

awk -F: '{print $1}' /etc/passwd
awk 'BEGIN {FS = ":"} {print $1}' /etc/passwd

    备注：以上两个示例均将字段的分隔符改冒号(:)，即以冒号为分隔符打印passwd文件的第一个字段(帐号名称)。
    注意：如果使用FS改变分隔符的话，需要在BEGIN处定义FS，因为在读取第一行前就需要改变字段分隔符。
    进阶：指定多个字段分隔符(文档内容为：hello the:word,!)

echo 'hello the:word,!' | awk 'BEGIN {FS="[:, ]"} {print $1,$2,$3,$4}'

3. 内置变量


    以下为awk内置变量：
          ARGC        命令行参数个数
          FILENAME    当前输入文档的名称
          FNR        当前输入文档的当前记录编号，尤其当有多个输入文档时有用
          NR        输入流的当前记录编号
          NF        当前记录的字段个数
          FS        字段分隔符
          OFS        输出字段分隔符，默认为空格
          ORS        输出记录分隔符，默认为换行符\n
          RS        输入记录分隔符，默认为换行符\n
    示例： 

cat test1.txt
This is a test file. 
Welcome to Jacob's Class.

cat test2.txt
Hello the world. 
Wow! I'm overwhelmed. 
Ask for more. 

   输出当前文档的当前行编号，第一个文件两行，第二个文件三行：
awk '{print FNR}' test1.txt test2.txt
1
2
1
2
3

   awk将两个文档作为一个整体的输入流，通过NR输入当前行编号：
awk '{print NR}' test1.txt test2.txt
1
2
3
4
5

    test1.txt文档的第一行有5个字段，第二行有4个字段：

awk '{print NF}' test1.txt
5
4

awk 'BEGIN {FS = ":"} {print $1}' /etc/passwd
awk '{print $1,$2,$3}' test1.txt

    备注：默认print输出时，各参数将的输出分隔符默认为空格，所以输出内容如下。

This is a
Welcome to Jacob's

awk 'BEGIN {OFS="-"} {print $1,$2,$3}' test1.txt

    备注：通过OFS将输出分隔符设置为"-"，这个print在输出第一、二、三个字段时，中间的分隔符为"-"，结果如下：

This-is-a
Welcome-to-Jacob's

 

cat test3.txt
 

  mail from: tomcat@gmail.com 
  subject:hello 
  date:2012-07-12 17:00 
  content:Hello, The world.

  mail from: jerry@gmail.com 
  subject:congregation 
  date:2012-07-12 08:31 
  content:Congregation to you.  

  mail from: jacob@gmail.com 
  subject:Test 
  date:2012-07-12 10:20 
  content:This is a test mail.

 

awk 'BEGIN {FS="\n"; RS=""} {print $3}' test3.txt
 

      备注：读取输入数据，以空白行为记录分隔符，即第一个空白行前的内容为第一个记录，第一个记录中字段分隔符为换行符。
     以上awk的效果为打印所有的邮件时间，即每个记录的第三个字段。
 
 

4. 表达式与操作符
 

     表达式是由变量、常量、函数、正则表达式、操作符组成，awk中变量有字符变量和数字变量。如果在awk中定义的变量没有初始化，则初始值为空字串或0。 

     注意：字符操作时一定记得需要加引号 

     1) 变量定义示例： 

 

   a="welcome to beijing"
   b=12
 

    2) 操作符(awk操作符与C语言类似)
     +        加
     -        减
     *        乘
     /        除
     %        取余
     ^        幂运算
     ++        自加1
     --        自减1
     +=        相加后赋值给变量(x+=9等同于x=x+9)
     -=        相减后赋值给变量(x-=9等同于x=x-9)
     *=        相乘后赋值给变量(x*=9等同于x=x*9)
     /=        相除后赋值给变量(x/=9等同于x=x/9)
     >        大于
     <        小于
     >=        大于等于
     <=        小于等于
     ==        等于
     !=        不等于
     ~        匹配
     !~        不匹配
     &&        与
     ||        或
     操作符简单示例：
 

echo "test" | awk 'x=2 {print x+3}'
 

echo "test" | awk 'x=2,y=3 {print x*2, y*3}'
   统计所有空白行： 

awk '/^$/ {print x+=1}' test.txt
   打印总空白行个数： 

awk '/^$/ {x+=1} END {print x}' test.txt
   打印root的ID号： 

awk -F: '$1~/root/ {print $3}' /etc/passwd
   列出计算机中ID号大于500的用户名： 

awk -F: '$3>500 {print $1}' /etc/passwd
 


 
 

四、awk条件及循环语句
 

     

1. IF条件判断格式：
 

     if (表达式) 

         动作1 

     else 

         动作2 

     或者if (表达式)  动作1；else 动作2 

     说明：如果表达式的判断结果为真则执行动作1，否则执行动作2。 

     示例：(判断boot分区可用容量小于20M时报警，否则显示OK) 

 

df | grep "boot" | awk '{if($4<20000) print "Alart"; else print "OK"}'
 

    
 

2. 循环
 

 

    while (条件)
         动作
     x=1
     while (i < 10) {
         print $i
     }
 

    示例：
 

awk 'i=1 {} BEGIN { while (i<=10) {++i; print i}}' test.txt
    do 

         动作 

     while (条件) 

 

    示例：
 

awk 'BEGIN { do {++x;print x} while (x<=10)}' test.txt
 

    for (变量；条件；计数器)
         动作
     示例：
     for (i=1;i<=10;i++)
         print i
 

awk 'BEGIN {for(i=1;i<=10;i++) print i}' test.txt
 

awk 'BEGIN {for(i=10;i>=1;i--) print i}' test.txt

 

    说明：因为以上循环语句使用的awk均使用的BEGIN模式，所以输入文档可以为任意文档(无关紧要)。
     

3. Break与Continue
 

     break        跳出循环 

     continue    终止当前循环 

     示例： 

    for  (i=1; i<=10;i++) {
        if (i=5)
            continue
        print i
    }
 

    说明：打印1-4，6-10
 

    for  (i=1; i<=10;i++) {
        if (i=5)
            break
        print i
    }
 

    说明：仅打印1-4
 
 
 

五、函数
 

     1. rand ()        产生0-1之间的浮动类型的随机数 

     备注：rand产生随机数时需要通过srand()设置一个参数，否则单独的rand()每次删除的随机数都是一样的。 

     示例： 

 

awk 'BEGIN {print rand(); srand(); print srand()}' test.txt
 

    
 

2. gsub(x,y,z)
         在字串z中使用字串y替换与正则表达式x相匹配的所有字串，z默认为$0 

         sub(x,y,z)        在字串z中使用字串y替换与正则表达式x相匹配的第一个字串，z默认为$0 

     示例： 

 

   将passwd每行中所有的root修改为jacob显示至屏幕
 

awk -F: 'gsub(/root/,"jacob",$0) {print $0}' /etc/passwd
 

   将passwd每行中第一个root修改为jacob显示至屏幕
 

awk -F: 'sub(/root/,"jacob",$0) {print $0}' /etc/passwd
 

    sub相当于sed中的s///，gsub相当于sed中的s///g。
     
 

3. length(z)
         返回字串z的长度 

     示例：显示test.txt文档每行的字符长度 

 

awk '{print length()}' test.txt
 

    
 

4. gentline
         从输入中读取下一行内容 

     示例： 

 

df -h
 

 
 
  1. Filesystem            Size  Used Avail Use% Mounted on 
  2. /dev/mapper/VolGroup00-LogVol00 
  3.                        19G  3.6G   15G  21% / 
  4. /dev/sda1              99M   14M   81M  15% /boot 
  5. tmpfs                 141M     0  141M   0% /dev/shm 
  6. none                  140M  104K  140M   1% /var/lib/xenstored 
 

  说明：从以上命令的输出结果可以看出，分区的剩余容量显示在第4列，但唯独/根分区的记录显示在了两行；我们需要判断当记录的字段个数为1时，读取下一行，并将该行的第3列显示至屏幕。
 

 

df -h | awk '{if(NF==1) {getline; print $3}; if(NF==6) print $4}'
 

df -h | awk 'BEGIN {print "Disk Free:"} {if(NF==1) {getline; print $3}; if(NF==6) print $4}'
 

 


 
 

六、awk演示示例(源自于man手册)
 

        

1. emulate cat：模拟cat程序
 

     { print }
 

 

       
 

2. emulate wc：模拟wc程序，统计行数、单词数、字符数
 

 

     { chars += length($0) + 1  # add one for the \n
        words += NF
     }
     END{ print NR, words, chars }
 

       
 

3. sum the second field of every record based on the first field.        根据第一列的内容统计第二列的数据
 

 

     $1 ~ /credit|gain/ { sum += $2 }
     $1 ~ /debit|loss/  { sum -= $2 }
     END { print sum }
 

       
 

4. Print and sort the login names of all users:                显示计算机帐号用户名并排序
 

 

     BEGIN { FS = ":" }
     { print $1 | "sort" }
 

 
 

本文出自 “丁丁历险” 博客，请务必保留此出处http://manual.blog.51cto.com/3300438/932958
 
  
 
 GitHub 加速计划 / li / linux-dash
 
10.39 K
            
 
1.2 K
            
 
下载
            
 
 

          A beautiful web dashboard for Linux
        
 

          最近提交(Master分支：2 个月前 )
 
186a802e 
added ecosystem file for PM2 4 年前 
5def40a3 
Add host customization support for the NodeJS version 4 年前 
 
 
 Logo 
GitCode 开源社区
 
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
 
 
  
更多推荐
  
 
[转载]在Windows环境下安装GNU Radio
 
转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的
 
avatar GitCode 开源社区
 
 
centOS 8 使用dnf安装Docker
 
DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...
 
avatar GitCode 开源社区
 
 
定时同步数据库表(mysql+linux+crontab)
 
sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m
 
avatar GitCode 开源社区