实际工作中遇到一个问题,需要统计日志中某个字符串出现的次数。日志按小时切割。所以一个个查看效率太低了。想起之前同事推荐过一个命令特意请教了一下。做个笔记,也希望能帮助有需要的朋友

[root@izbp14jx1zymn6cp home]# grep -rn "波子汽水" maobo/ 

maobo/d:/2019-01/debug-2019-01-13-1.log:4267:[18:00:00:000] [INFO] - com.mb.wechat.wechat.quartz.UpdateTokenTask.updateToken(UpdateTokenTask.java:48) - 更新波子汽水公众号token
maobo/d:/2019-01/debug-2019-01-13-1.log:4477:[19:00:00:000] [INFO] - com.mb.wechat.wechat.quartz.UpdateTokenTask.updateToken(UpdateTokenTask.java:48) - 更新波子汽水公众号token
maobo/d:/2019-01/debug-2019-01-13-1.log:4686:[20:00:00:000] [INFO] - com.mb.wechat.wechat.quartz.UpdateTokenTask.updateToken(UpdateTokenTask.java:48) - 更新波子汽水公众号token
maobo/d:/2019-01/debug-2019-01-13-1.log:4895:[21:00:00:000] [INFO] - com.mb.wechat.wechat.quartz.UpdateTokenTask.updateToken(UpdateTokenTask.java:48) - 更新波子汽水公众号token
maobo/d:/2019-01/debug-2019-01-13-1.log:5106:[22:00:00:001] [INFO] - com.mb.wechat.wechat.quartz.UpdateTokenTask.updateToken(UpdateTokenTask.java:48) - 更新波子汽水公众号token
maobo/d:/2019-01/debug-2019-01-13-1.log:5315:[23:00:00:000] [INFO] - com.mb.wechat.wechat.quartz.UpdateTokenTask.updateToken(UpdateTokenTask.java:48) - 更新波子汽水公众号token

wc 统计一下
grep -rn "波子汽水.*token" maobo/ | wc -l  
126

另外一种方式 参考此篇

以下部分是在网上搜集的当个笔记

统计某文件夹下文件的个数
ls -l |grep “^-”|wc -l

统计某文件夹下目录的个数
ls -l |grep “^d”|wc -l

统计文件夹下文件的个数,包括子文件夹里的
ls -lR|grep “^-”|wc -l

如统计/home/han目录(包含子目录)下的所有js文件则:
ls -lR /home/han|grep js|wc -l 或 ls -l “/home/han”|grep “js”|wc -l

统计文件夹下目录的个数,包括子文件夹里的
ls -lR|grep “^d”|wc -l
说明:
ls -lR
长列表输出该目录下文件信息(R代表子目录注意这里的文件,不同于一般的文件,可能是目录、链接、设备文件等)

grep “^-”
这里将长列表输出信息过滤一部分,只保留一般文件,如果只保留目录就是 ^d

wc -l
统计输出信息的行数,因为已经过滤得只剩一般文件了,所以统计结果就是一般文件信息的行数,又由于一行信息对应一个文件,所以也就是文件的个数。

======================================
如果只查看文件夹
ls -d 只能显示一个.
find -type d 可以看到子文件夹
ls -lF |grep / 或 ls -l |grep ‘^d’ 只看当前目录下的文件夹,不包括往下的文件夹


/usr/local/webapp_share/WeChat/data/mobile/radar/

[root@wx12240 radar]# find /usr/local/webapp_share/WeChat/data/mobile/radar/ -mtime +3 -name “.png" -exec rm -rf {} ;
 find /usr/local/webapp_share/WeChat/data/mobile/radar/ -mtime +3 -name "
.png” -exec rm -rf {} ;

语句写法:
find 对应目录 -mtime +天数 -name “文件名” -exec rm -rf {} ;
例1:
  find /usr/local/backups -mtime +10 -name “.” -exec rm -rf {} ;
  将/usr/local/backups目录下所有10天前带".“的文件删除
  find:Linux的查找命令,用户查找指定条件的文件
  /usr/local/backups:想要进行清理的任意目录
  -mtime:标准语句写法
  +10:查找10天前的文件,这里用数字代表天数,+30表示查找30天前的文件
  “.”:希望查找的数据类型,”.jpg"表示查找扩展名为jpg的所有文件,"“表示查找所有文件,这个可以灵活运用,举一反三
  -exec:固定写法
  rm -rf:强制删除文件,包括目录
  {} ; :固定写法,一对大括号+空格++;
  若嫌每次手动执行语句太麻烦,可以将这小语句写到一个可执行文件中,再设置cron调度执行,那就可以让系统自动去清理相关文件。
例2:
  1.#touch /usr/local/bin/clear
  #chmod 777 clear
  新建一个可执行文件clear
  2.vi clear
  编辑clear文件如下:
  #!/bin/sh
  find /usr/local/backups -mtime +10 -name “.” -exec rm -rf {} ;
  ok,保存退出
  3.#crontab -e
  将clear文件加入到系统计划任务,到点自动执行
  输入:
  * 2 * * /usr/local/bin/clear
  这里的设置是每天凌晨2点执行clear文件进行数据清理,可以研究一下cron,制定自己需要的计划任务
  示例:
  #!/bin/sh
  find /usr/local/jboss-4.2.3.GA/server/default/log -mtime +6 -name"server.log.
” -exec rm -rf {} ;
  exit
  [root@web3 ~]# crontab -l
  * 2 * * * sh /root/AutoDelLog.sh
  这样每天晚上2点执行这个脚本,脚本是删除6天前的文件
find /etc/rc.d -name ‘*crond’ -exec file {} ;
  查找/etc/rc.d目录下面所有以crond结束的文件,并使用file指令查看其属性,注意:exec和file间是一个空格,file和{}间是一个空格,{}和;之间是一个空格,;是一个整体。


定时任务
linux下定时执行任务的方法
在LINUX中你应该先输入crontab -e,然后就会有个vi编辑界面,再输入0 3 * * 1 /clearigame2内容到里面 :wq 保存退出。

在LINUX中,周期执行的任务一般由cron这个守护进程来处理[ps -ef|grep cron]。cron读取一个或多个配置文件,这些配置文件中包含了命令行及其调用时间。
cron的配置文件称为“crontab”,是“cron table”的简写。

一、cron在3个地方查找配置文件:
1、/var/spool/cron/ 这个目录下存放的是每个用户包括root的crontab任务,每个任务以创建者的名字命名,比如tom建的crontab任务对应的文件就是/var/spool/cron/tom。
一般一个用户最多只有一个crontab文件。

二、/etc/crontab 这个文件负责安排由系统管理员制定的维护系统以及其他任务的crontab。

三、/etc/cron.d/ 这个目录用来存放任何要执行的crontab文件或脚本。

四、权限
crontab权限问题到/var/adm/cron/下一看,文件cron.allow和cron.deny是否存在
用法如下:
1、如果两个文件都不存在,则只有root用户才能使用crontab命令。
2、如果cron.allow存在但cron.deny不存在,则只有列在cron.allow文件里的用户才能使用crontab命令,如果root用户也不在里面,则root用户也不能使用crontab。
3、如果cron.allow不存在, cron.deny存在,则只有列在cron.deny文件里面的用户不能使用crontab命令,其它用户都能使用。
4、如果两个文件都存在,则列在cron.allow文件中而且没有列在cron.deny中的用户可以使用crontab,如果两个文件中都有同一个用户,
以cron.allow文件里面是否有该用户为准,如果cron.allow中有该用户,则可以使用crontab命令。

五、cron服务
  cron是一个linux下 的定时执行工具,可以在无需人工干预的情况下运行作业。
  /sbin/service crond start //启动服务
  /sbin/service crond stop //关闭服务
  /sbin/service crond restart //重启服务
  /sbin/service crond reload //重新载入配置
  /sbin/service crond status //查看服务状态

在crontab文件中如何输入需要执行的命令和时间。该文件中每行都包括六个域,其中前五个域是指定命令被执行的时间,最后一个域是要被执行的命令。
每个域之间使用空格或者制表符分隔。格式如下:
  minute hour day-of-month month-of-year day-of-week commands
合法值 00-59 00-23 01-31 01-12 0-6 (0 is sunday) commands(代表要执行的脚本)
除了数字还有几个个特殊的符号就是"*"、"/“和”-"、",",*代表所有的取值范围内的数字,"/“代表每的意思,”/5"表示每5个单位,"-“代表从某个数字到某个数字,”,"分开几个离散的数字。

几个例子:
每天早上6点
0 6 * * * echo “Good morning.” >> /tmp/test.txt //注意单纯echo,从屏幕上看不到任何输出,因为cron把任何输出都email到root的信箱了。

每两个小时
0 */2 * * * echo “Have a break now.” >> /tmp/test.txt

晚上11点到早上8点之间每两个小时和早上八点
0 23-7/2,8 * * * echo “Have a good dream” >> /tmp/test.txt

每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点
0 11 4 * 1-3 command line

1月1日早上4点
0 4 1 1 * command line SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root //如果出现错误,或者有数据输出,数据作为邮件发给这个帐号 HOME=/

每小时执行/etc/cron.hourly内的脚本
01 * * * * root run-parts /etc/cron.hourly
每天执行/etc/cron.daily内的脚本
02 4 * * * root run-parts /etc/cron.daily

每星期执行/etc/cron.weekly内的脚本
22 4 * * 0 root run-parts /etc/cron.weekly

每月去执行/etc/cron.monthly内的脚本
42 4 1 * * root run-parts /etc/cron.monthly

注意: "run-parts"这个参数了,如果去掉这个参数的话,后面就可以写要运行的某个脚本名,而不是文件夹名。

每天的下午4点、5点、6点的5 min、15 min、25 min、35 min、45 min、55 min时执行命令。
5,15,25,35,45,55 16,17,18 * * * command

每周一,三,五的下午3:00系统进入维护状态,重新启动系统。
00 15 * * 1,3,5 shutdown -r +5

每小时的10分,40分执行用户目录下的innd/bbslin这个指令:
10,40 * * * * innd/bbslink

每小时的1分执行用户目录下的bin/account这个指令:
1 * * * * bin/account

每天早晨三点二十分执行用户目录下如下所示的两个指令(每个指令以;分隔):
20 3 * * * (/bin/rm -f expire.ls logins.bad;bin/expire$#@62;expire.1st)

每年的一月和四月,4号到9号的3点12分和3点55分执行/bin/rm -f expire.1st这个指令,并把结果添加在mm.txt这个文件之后(mm.txt文件位于用户自己的目录位置)。
12,55 3 4-9 1,4 * /bin/rm -f expire.1stKaTeX parse error: Expected 'EOF', got '#' at position 1: #̲@62;#@62;mm.txt

at命令实现定时任务
  假如我们只是想要让特定任务运行一次,那么,这时候就要用到at监控程序了。
at类似打印进程,会把任务放到/var/spool/at目录中,到指定时间运行它 。at命令相当于另一个shell,运行at time命令时,它发送一个个命令,可以输入任意命令或者程序。

at命令执行流程如下

# at 2:05 tomorrow

at>/home/kyle/do_job

at> Ctrl+D

AT Time中的时间表示方法

-----------------------------------------------------------------------

时 间 例子 说明

-----------------------------------------------------------------------

Minute at now + 5 minutes 任务在5分钟后运行

Hour at now + 1 hour 任务在1小时后运行

Days at now + 3 days 任务在3天后运行

Weeks at now + 2 weeks 任务在两周后运行

Fixed at midnight 任务在午夜运行

Fixed at 10:30pm 任务在晚上10点30分

注意:linux默认为不启动,而ubuntu默认为启动的。检查是否启动,用service atd检查语法,用service atd status检查atd的状态,用service atd start启动atd服务。

查看at执行的具体内容:一般位于/var/spool/at目录下面, 用vi打开,在最后一部分就是你的执行程序

参数详解
-V : 印出版本编号
-q : 使用指定的伫列(Queue)来储存,at 的资料是存放在所谓的 queue 中,使用者可以同时使用多个 queue,而 queue 的编号为 a, b, c… z 以及 A, B, … Z 共 52 个
-m : 即使程序/指令执行完成后没有输出结果, 也要寄封信给使用者
-f file : 读入预先写好的命令档。使用者不一定要使用交谈模式来输入,可以先将所有的指定先写入档案后再一次读入
网络应用

-l : 列出所有的指定 (使用者也可以直接使用 atq 而不用 at -l)
-d : 删除指定 (使用者也可以直接使用 atrm 而不用 at -d)
-v : 列出所有已经完成但尚未删除的指定

删除任务
atrm 2

三天后的下午 5 点锺执行 /bin/ls :
at 5pm 3 days /bin/ls

三个星期后的下午 5 点锺执行 /bin/ls :
at 5pm 2 weeks /bin/ls

明天的 17:20 执行 /bin/date :
at 17:20 tomorrow /bin/date

1999 年的最后一天的最后一分钟印出 the end of world !
at 23:59 12/31/1999 echo the end of world !

GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:2 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐