Linux命令:shell如何操作字符串和数字?
计算机程序其实就是处理数据。前面的章节主要从文件层面讲解了数据的处理。然而,很多编程问题需要用到更小的数据单元,例如字符串和数字,来解决。
本章将学习几个用于操纵字符串和数字的shell脚本特性。Shell提供了多种字符串操作的参数扩展。除了算术扩展(在第7章讲到),还有一个常见的名为bc的命令行程序,它能执行更高层次的数学运算。
34.1 参数扩展(Parameter Expansion)
虽然参数扩展在第7章就已出现,但是因为大部分参数扩展使用在脚本文件,而非命令行中,所以我们未加详细解释,在这之前已经使用了某些形式的参数扩展,例如shell变量。Shell提供了多种参数的扩展形式。
34.1.1 基本参数
参数扩展的最简单形式体现在平常对变量的使用中。举例来说,$a扩展后成为变量a所包含的内容,无论a包含什么。简单参数也可以被括号包围,例如${a}。这对扩展本身毫无影响,但是,当变量相邻于其他文本时,则必须使用括号,否则可能让shell混淆。看下面这个例子,我们试图以附加字符串_file到变量a内容后的方式新建一个文件名。
[me@linuxbox ~]$ a=”foo”
[me@linuxbox ~]$ echo ”$a_file”
由于shell会试图扩展名为a_file的变量而不是a变量,所以如果按序执行这些命令,结果将是一无所获。这个问题可以通过加上括号加以解决。
[me@linuxbox ~]$ echo ”${a}_file”
foo_file
同样可见,大于9的位置参数可以通过给相应数字加上括号来访问。例如,访问第11个位置参数,可以这样做——${11}。
34.1.2 空变量扩展的管理
有的参数扩展用于处理不存在的变量和空变量。这些参数扩展在处理缺失的位置参数和给参数赋默认值时很有用处。这种参数扩展形式如下。
${parameter:-word}
如果parameter未被设定(比如不存在)或者是空参数,则其扩展为word的值;如果parameter非空,则扩展为parameter的值。
[me@linuxbox ~]$ foo=
[me@linuxbox ~]$ echo ${foo:-“substitute value if unset”}
substitute value if unset
[me@linuxbox ~]$ echo $foo
[me@linuxbox ~]$ foo=bar
[me@linuxbox ~]$ echo ${foo:-“substitute value if unset”}
bar
[me@linuxbox ~]$ echo $foo
Bar
以下是另一种扩展形式,在里面使用等号,而非连字符号。
${parameter:=word}
如果parameter未被设定或者为空,则其扩展为word的值;此外,word的值也将赋给parameter。如果parameter非空,则扩展为parameter的值。
[me@linuxbox ~]$ foo=
[me@linuxbox ~]$ echo ${foo:=”default value if unset”}
default value if unset
[me@linuxbox ~]$ echo $foo
default value if unset
[me@linuxbox ~]$ foo=bar
[me@linuxbox ~]$ echo ${foo:=”default value if unset”}
bar
[me@linuxbox ~]$ echo $foo
Bar
注意:
位置参数和其他特殊参数不能以这种方式赋值。
我们使用一个问号,如下所示。
${parameter:?word}
如果 parameter 未设定或为空,这样扩展会致使脚本出错而退出,并且word内容输出到标准错误。如果parameter非空,则扩展结果为parameter的值。
[me@linuxbox ~]$ foo=
[me@linuxbox ~]$ echo ${foo:?"parameter is empty"}
bash: foo: parameter is empty
[me@linuxbox ~]$ echo $?
1
[me@linuxbox ~]$ foo=bar
[me@linuxbox ~]$ echo ${foo:?"parameter is empty"}
bar
[me@linuxbox ~]$ echo $?
0
如果我们使用一个加号,如下所示:
${parameter:+word}
若parameter未设定或为空,将不产生任何扩展。若parameter非空,word的值将取代parameter的值;然而,parameter的值并不发生变化。
[me@linuxbox ~]$ foo=
[me@linuxbox ~]$ echo ${foo:+"substitute value if set"}
[me@linuxbox ~]$ foo=bar
[me@linuxbox ~]$ echo ${foo:+"substitute value if set"}
substitute value if set
34.1.3 返回变量名的扩展
shell具有返回变量名的功能。这种功能在相当特殊的情况下才会被用到。
${!prefix*}
${!prefix@}
该扩展返回当前以prefix开头的变量名。根据bash文档,这两种扩展形式执行效果一模一样。下面的例子中,我们列出了环境变量中所有以BASH开头的变量。
[me@linuxbox ~]$ echo ${!BASH*}
BASH BASH_ARGC BASH_ARGV BASH_COMMAND BASH_COMPLETION BASH_COMPLETION_DIR
BASH_LINENO BASH_SOURCE BASH_SUBSHELL BASH_VERSINFO BASH_VERSION
34.1.4 字符串操作
对字符串的操作,存在着大量的扩展集合。其中一些扩展尤其适用于对路径名的操作。扩展式
${#parameter}
扩展为parameter内包含的字符串的长度。一般来说,参数parameter是个字符串。然而,如果参数parameter是“@”或“*”,那么扩展结果就是位置参数的个数。
[me@linuxbox ~]$ foo="This string is long."
[me@linuxbox ~]$ echo "'$foo' is ${#foo} characters long."
'This string is long.' is 20 characters long.
${parameter:offset}
${parameter:offset:length}
这个扩展用来提取一部分包含在参数parameter中的字符串。扩展以offset字符开始,直到字符串末尾,除非length特别指定。
[me@linuxbox ~]$ foo="This string is long."
[me@linuxbox ~]$ echo ${foo:5}
string is long.
[me@linuxbox ~]$ echo ${foo:5:6}
string
如果offset的值为负,默认表示它从字符串末尾开始,而不是字符串开头。注意,负值前必须有一个空格,以防和“$”{parameter:-word}扩展混淆。如果有length(长度)的话,length不能小于0。
如果参数是“@”,扩展的结果则是从offset开始,length为位置参数。
[me@linuxbox ~]$ foo="This string is long."
[me@linuxbox ~]$ echo ${foo: -5}
long.
[me@linuxbox ~]$ echo ${foo: -5:2}
lo
${parameter%pattern}
${parameter%%pattern}
根据pattern定义,这些扩展去除了包含在parameter中的字符串的主要部分。pattern是一个通配符模式,类似那些用于路径名的扩展。两种形式的区别在于“#”形式去除最短匹配,而“##”形式去除最长匹配。
[me@linuxbox ~]$ foo=file.txt.zip
[me@linuxbox ~]$ echo ${foo#*.}
txt.zip
[me@linuxbox ~]$ echo ${foo##*.}
Zip
${parameter%pattern}
${parameter%%pattern}
这些扩展与上述的“#”和“##”扩展相同,除了一点——它们从参数包含的字符串末尾去除文本,而非字符串开头。
[me@linuxbox ~]$ foo=file.txt.zip
[me@linuxbox ~]$ echo ${foo%.*}
file.txt
[me@linuxbox ~]$ echo ${foo%%.*}
file
${parameter/pattern/string}
${parameter//pattern/string}
${parameter/#pattern/string}
${parameter/%pattern/string}
这个扩展在parameter的内容上执行搜索和替换非常有效。如果文本被发现和通配符pattern一致,就被替换为string的内容。通常形式下,只有第一个出现的pattern被替换。在“//”形式下,所有pattern都被替换。“/#”形式要求匹配出现在字符串开头,“/%”形式要求匹配出现在字符串末尾。“/string”可以省略,不过和pattern匹配的文本都会被删除。
[me@linuxbox ~]$ foo=JPG.JPG
[me@linuxbox ~]$ echo ${foo/JPG/jpg}
jpg.JPG
[me@linuxbox ~]$ echo ${foo//JPG/jpg}
jpg.jpg
[me@linuxbox ~]$ echo ${foo/#JPG/jpg}
jpg.JPG
[me@linuxbox ~]$ echo ${foo/%JPG/jpg}
JPG.jpg
参数扩展是一个比较重要的功能。进行字符串操作的扩展可以替代其他常用的命令,例如set和cut命令。扩展通过取代外部程序,改善了脚本的执行效率。比如,我们将改动前面章节中讨论过的longest-word程序,运用参数扩展${#j}代替在subshell中输出结果的$(echo $j | wc -c),如下所示。
#!/bin/bash
# longest-word3 : find longest string in a file
for i; do
if [[ -r $i ]]; then
max_word=
max_len=
for j in $(strings $i); do
len=${#j}
if (( len > max_len )); then
max_len=$len
max_word=$j
fi
done
echo "$i: '$max_word' ($max_len characters)"
fi
shift
done
接着,我们将用time命令比较两个版本的效率。
[me@linuxbox ~]$ time longest-word2 dirlist-usr-bin.txt
dirlist-usr-bin.txt: 'scrollkeeper-get-extended-content-list' (38 characters)
real 0m3.618s
user 0m1.544s
sys 0m1.768s
[me@linuxbox ~]$ time longest-word3 dirlist-usr-bin.txt
dirlist-usr-bin.txt: 'scrollkeeper-get-extended-content-list' (38 characters)
real 0m0.060s
user 0m0.056s
sys 0m0.008s
原始版本的脚本花费了3.618秒来扫描text文件,而使用参数扩展的新版本只花费了0.06秒——这是一个比较大的改进。
34.2 算术计算和扩展
第7章我们学习了算术扩展,用来对整数进行算术运算。它的基本形式如下所示:
$((expression))
其中expression是一个有效的算术表达式。
这和用于算法计算(真实性测试)的复合命令“(( ))”有关,我们曾在第27章中遇到过。
通过前面章节的学习,我们已经了解了表达式和运算符的常见类型。下面,我们将更为完整地学习它们。
34.2.1 数字进制
回顾第9章,我们已经学习了八进制(octal)和十六进制(hexadecimal)的数字。在算术表达式中,shell支持任何进制表示的整数。表34-1列出了基本数字进制的描述。
表34-1 不同的数字进制
看一些例子,如下所示。
[me@linuxbox ~]$ echo $((0xff))
255
[me@linuxbox ~]$ echo $((2#11111111))
255
这些例子中,我们输出了十六进制数字ff(最大的两位数字)的值以及最大的八位数(二进制)。
34.2.2 一元运算符
有两种一元运算符:+和-。它们分别被用来指示一个数字是正或是负。
34.2.3 简单算术
表34-2列出了普通算术运算符。
表34-2 算术操作符
这里大部分操作符具有自描述性,但是整数除法和取模需要更深入的讨论。
由于shell的算术运算符仅适用于整数,除法的结果永远是完整的数字,如下所示。
[me@linuxbox ~]$ echo $(( 5 / 2 ))
2
这使得除法运算中余数的确定尤为重要,如下所示。
[me@linuxbox ~]$ echo $(( 5 % 2 ))
1
通过运用除法和取模运算,可以确定5被2整除的结果为2,余数为1。
计算余数在循环中很有用。它使得一个运算符能够在循环的特定间隔中执行。在下例中,我们显示了一行数字,其中5的倍数突出显示。
#!/bin/bash
# modulo : demonstrate the modulo operator
for ((i = 0; i <= 20; i = i + 1)); do
remainder=$((i % 5))
if (( remainder == 0 )); then
printf "<%d> " $i
else
printf "%d " $i
fi
done
printf "\n"
运行后,结果如下。
[me@linuxbox ~]$ modulo
<0> 1 2 3 4 <5> 6 7 8 9 <10> 11 12 13 14 <15> 16 17 18 19 <20>
34.2.4 赋值
尽管算术表达式并非立等可见,但是它们可以用来进行赋值。通过前面不同的场景,我们已经进行了多次赋值。每当赋给变量一个值时,就是赋值操作。算术表达式可以这样使用。
[me@linuxbox ~]$ foo=
[me@linuxbox ~]$ echo $foo
[me@linuxbox ~]$ if (( foo = 5 ));then echo "It is true."; fi
It is true.
[me@linuxbox ~]$ echo $foo
5
上例中,先给变量foo赋空值,并确认它确实为空。接着,执行一个以复杂命令((foo = 5))为条件的if语句。整个过程有两件有趣的事。(1)它给变量foo赋值5。(2)因为赋值是成功的,所以条件为true。
注意:
记住上式中“=”的确切含义很重要。单个的“=”执行赋值,即foo = 5意味着“让foo等于5”。两个“==”用来判断是否相等,即foo == 5意味着“foo是否等于5?”这可能十分令人费解,因为test命令认为单个的“=”判断字符串是否相等。但这也正是另一个使用新式的“[[ ]]”和“(( ))”混合命令代替test的理由。
此外,除了“=”之外,shell还提供了一些相当有用的赋值语句,如表34-3所示。
表34-3 赋值操作符
这些赋值操作为很多常见算术任务提供了一种快捷方式。增量(++)和减量(--)运算特别有意义,它们以1为间隔增加或减少参数的值。这种风格的表示法是从C编程语言衍生而来,并且已经被其他几种编程语言采用,其中包括bash。
[me@linuxbox ~]$ foo=1
[me@linuxbox ~]$ echo $((foo++))
1
[me@linuxbox ~]$ echo $foo
2
这些操作既可能在参数前部也可能在参数尾部出现。虽然它们都以1为间隔增加或减少参数的值,两者的位置安排有一个微妙的区别。如果在参数前部,参数在返回前增加(或减少)。如果在参数尾部,该操作在参数返回后执行。这十分奇怪,但却是故意为之。下面是一个示例。
[me@linuxbox ~]$ foo=1
[me@linuxbox ~]$ echo $((++foo))
2
[me@linuxbox ~]$ echo $foo
2
如果给变量foo赋值1,然后用“++”操作增加它的值,“++”位置在参数名后,那么foo返回值为1。然而,如果再次查看变量的值,会发现该值已经增加1。如果“++”位置在参数名前,将得到比较期望的结果,如下所示。
对于大部分shell应用,前置运算操作则是最常用的。
“++”和“--”操作符经常和循环联合使用。下面我们将对modulo脚本做些改善,使它变得更为紧凑。
#!/bin/bash
# modulo2 : demonstrate the modulo operator
for ((i = 0; i <= 20; ++i )); do
if (((i % 5) == 0 )); then
printf "<%d> " $i
else
printf "%d " $i
fi
done
printf "\n"
34.2.5 位操作
有一种操作符以一种非同寻常的方式巧妙地进行数字运算,这些操作符在位层面执行运算。它们被用于特定的低层任务中,常用来位标志的设置和读取。表34-4列出了位操作符。
表34-4 位操作
注意,除了按位取反之外,也存在相应的赋值操作(例如“<<=”)。
这里将示范使用逐位左移操作,产生2的次方的一串数字。
[me@linuxbox ~]$ for ((i=0;i do echo $((1<<i)); done
1
24
8
16
32
64
128
34.2.6 逻辑操作
正如在第7章中所述,“(( ))”复合命令支持多种比较操作。有另外几种可以被用于判断逻辑是否成立的操作。表34-5列出了完整的清单。
表34-5 Comparison Operators
当使用逻辑操作时,表达式遵循算术逻辑的规则。这就是说,值为零的表达式为false,而非零表达式为true。如下所示,“(( ))”复合命令将结果映射到shell的正常退出代码。
[me@linuxbox ~]$ if ((1)); then echo "true"; else echo "false"; fi
true
[me@linuxbox ~]$ if ((0)); then echo "true"; else echo "false"; fi
false
最奇怪的逻辑操作是三元操作。这个操作(该操作模仿C编程语言中的相应操作)执行一个独立的逻辑测试。它可以被用作某种意义上的if/then/else语句。它作用于三个算术表达式上(不可以是字符串),并且如果第一个表达式为真(或非零),就执行第二个表达式,否则执行第三个表达式。我们可以在命令行上尝试一下。
[me@linuxbox ~]$ a=0
[me@linuxbox ~]$ ((a<1?++a:--a))
[me@linuxbox ~]$ echo $a
1
[me@linuxbox ~]$ ((a<1?++a:--a))
[me@linuxbox ~]$ echo $a
0
这是一个实际的三元操作,本例实现了一个来回切换。每次操作被执行,变量a的值从0变为1,或从1变为0。
请注意在表达式内的赋值操作并不能简单使用。当试图这样做时,bash将输出一个错误。
[me@linuxbox ~]$ a=0
[me@linuxbox ~]$ ((a<1?a+=1:a-=1))
bash: ((: a<1?a+=1:a-=1: attempted assignment to non-variable (error token is
"-=1")
这个问题可以通过使用括号包围赋值表达式来解决。
[me@linuxbox ~]$ ((a<1?(a+=1):(a-=1)))
接下来,我们将研究一个更为综合的例子,该例在脚本中使用算术操作产生一个简单的数字表。
#!/bin/bash
# arith-loop: script to demonstrate arithmetic operators
finished=0
a=0
printf "a\ta**2\ta**3\n"
printf "=\t====\t====\n"
until ((finished)); do
b=$((a**2))
c=$((a**3))
printf "%d\t%d\t%d\n" $a $b $c
((a<10?++a:(finished=1)))
done
在这个脚本中,基于finished变量的值实现了一个until循环。最初,该变量被设为0(算术假),循环继续,直到变量成为非零值。在循环体内,计算计数变量a的平方和立方。在循环最后,判断计数变量的值。如果它小于10(最大迭代次数),就加1,否则给变量finished赋值1,使得finished算术为真,从而终止循环。运行脚本,将得到如下结果。
[me@linuxbox ~]$ arith-loop
a a**2 a**3
= ==== ====
0 0 0
1 1 1
2 4 8
3 9 27
4 16 64
5 25 125
6 36 216
7 49 343
8 64 512
9 81 729
10 100 1000
34.3 bc:一种任意精度计算语言
我们已经了解了shell可以处理所有种类的整数运算,但是如果需要执行更高级的数学运算,或者甚至使用浮点数怎么办呢?答案是无法实现,至少无法用shell直接实现。为了达到这个目的,我们需要使用一个外部程序。这里有几种方法可以使用,如嵌入Perl或AWK是一个可能的解决方案。但不幸的是,这已超出本书范围。
另一种方法是使用一个专门的计算器程序,大多数Linux系统都支持这种程序bc。
bc程序读取一个使用类C语言编写的程序文件,并执行它。bc脚本可以是一个单独的文件,也可以从标准输入中读取。bc语言支持很多功能,包括变量、循环以及由程序员自定义的函数。在这里我们不会完整地涵盖bc的知识点,而只是抛砖引玉。bc的man手册已有充分详细的说明。
以一个浅显易懂的例子开始,我们下面将写一个2加2的bc脚本。
/* A very simple bc script */
2 + 2
脚本的第一行是一个注释。bc使用和C编程语言同样的注释语法。注释可以跨越多行,以/“*”开始,以“*/”结束。
34.3.1 bc的使用
如果将上述bc脚本保存为foo.bc,那么可以这样运行它。
[me@linuxbox ~]$ bc foo.bc
bc 1.06.94
Copyright 1991-1994, 1997, 1998, 2000, 2004, 2006 Free Software Foundation,
Inc.
This is free software with ABSOLUTELY NO WARRANTY.
For details type `warranty'.
4
如果仔细看看,可以在最底部版权信息的后面看到运行结果。这些信息可以通过-q (quiet)选项禁止显示。
bc也可以交互地使用,如下所示。
[me@linuxbox ~]$ bc -q
2 + 2
4
quit
当交互地使用bc时,只需简单地输入运算值,计算结果就会立刻被显示出来。使用bc命令中的quit结束交互会话。
通过标准输入传递一个脚本到bc亦是可行的,如下所示。
[me@linuxbox ~]$ bc <</strong> foo.bc
4
既然支持标准输入,那么意味着可以使用嵌入文档、嵌入字符串和管道传递脚本。下面是一个嵌入字符串的例子。
[me@linuxbox ~]$ bc <<<</strong> "2+2"
4
34.3.2 脚本例子
作为一个实际的例子,我们将构建一个常见运算的脚本——按月偿还贷款。以下脚本使用嵌入文档传递脚本到bc。
#!/bin/bash
# loan-calc : script to calculate monthly loan payments
PROGNAME=$(basename $0)
usage () {
cat <<- EOF
Usage: $PROGNAME PRINCIPAL INTEREST MONTHS
Where:
PRINCIPAL is the amount of the loan.
INTEREST is the APR as a number (7% = 0.07).
MONTHS is the length of the loan's term.
EOF
}
if (($# != 3)); then
usage
exit 1
fi
principal=$1
interest=$2
months=$3
bc <<- EOF
scale = 10
i = $interest / 12
p = $principal
n = $months
a = p * ((i * ((1 + i) ^ n)) / (((1 + i) ^ n) - 1))
print a, "\n"
EOF
执行后,结果如下。
[me@linuxbox ~]$ loan-calc 135000 0.0775 180
1270.7222490000
本例计算了$135,000贷款的月付款数,180个月(15年)的年度百分率为7.75%。注意答案的精度,它是由赋给bc脚本中scale特定变量的值决定的。bc的man手册提供了bc脚本编程语言的完整描述。虽然它的数学表示法与shell的稍微不同(bc更接近于C语言),但是就本书目前涵盖的知识而言,大部分内容都是相似的。
34.4 本间结尾语
本章我们学习了脚本中许多“实用的”小技巧。随着脚本编程经验的增长,有效而巧妙地操纵字符串和数字将会是极其珍贵的。本书中的loan-calc脚本,说明了哪怕是最简单的脚本也可以做一些真正有用的事。
34.5 附加项
虽然loan-calc脚本的基本功能已经实现,但是这个脚本远非完善。读者可以试着改善loan-calc脚本,使其包括下面的功能。
- 对命令行参数的充分验证。
- 用来实现“交互”模式的命令行选项,该模式提示用户输入贷款的本金、利率和偿还期。
- 更好的输出格式。
本文摘自:《Linux命令行大全》
本书分为四部分。第一部分开始了对命令行基本语言的学习之旅,包括命令结构、文件系统的导引、命令行的编辑以及关于命令的帮助系统和使用手册。第二部分主要讲述配置文件的编辑,用于计算机操作的命令行控制。第三部分讲述了从命令行开始执行的常规任务。类UNIX操作系统,比如Linux,包含了很多“经典的”命令行程序,这些程序可以高效地对数据进行操作。第四部分介绍了shell编程,这是一个公认的初级技术,并且容易学习,它可以使很多常见的系统任务自动运行。通过学习shell编程,读者也可以熟悉其他编程语言的使用。
本书适合从其他平台过渡到Linux的新用户和初级Linux服务器管理员阅读。没有任何Linux基础和Linux编程经验的读者,也可以通过本书掌握Linux命令行的使用方法。
更多推荐
所有评论(0)