awk是我们在linux系统中处理文本的一大利器，它可以简单而方便的帮我们完成很多工作。本篇主要记录一下awk的一部分使用技巧，并非是awk教程，所以如果你对awk并不了解的话，建议先阅读下awk的基本使用方法。
注: markdown没有bash高亮，所以注释我改用//来代替#
awk之常用内置变量
- NR 当前行数，例如获取第34行数据
awk '{if(NR==34){print $0}}' ./file
awk之输入输出
-
多输入文本处理
经?；嵊姓庋男枨?，需要用awk同时处理两个或多个文本，比如同时处理a和b两个文本，然后比较a和b中的差异或者b文件 处理过程中依赖a文件的一些内容，那么我们就需要同时传递多个文本到awk中，how to do that? 举栗如下：
awk 'ARGIND==1{ 操作a文件 } ARGIND==2{ 操作b文件 }' a b //主要应用ARGIND,表示awk参数列表的序号(argv index),注意下标从1开始。 -
外部参数传递
在shell脚本中，有时候需要将awk之外的变量传递给awk内部使用,可以使用awk -v参数来绑定外部变量
#!/bin/sh num=1 awk -v in_num=$num '{ 外部变量num的值被赋到in_num,可以在awk内使用in_num }' -
外部函数调用
抛开外部变量的使用，有时候，我们甚至需要直接调用外部函数来获取一个值，那么如何调用外部函数呢？
#!/bin/sh function get_data() { echo $1"bean" } awk '{ //定义调用外部函数的命令并在需要的情况下传参 in_value="green"; //引号比较多，其实就是按照awk拼接字符串的方式拼接参数 cmd="get_data \""in_value"\""; //执行函数并通过getline获取输出赋值到output_value cmd | getline output_value; //注意关闭，否则会保留上次的执行结果 close(cmd); print output_value; }' input_file -
输入输出分隔符指定
对于分隔符的使用想必都不陌生，我们经常会用awk处理格式化的数据，简单说下分隔符的使用
//常用的有两种方式 //第一种 -F ，例如输入文本是逗号分隔的 awk -F "," '{ 使用分割后的值$1$2... }' input_file //第二种 这里FS是输入分隔符 OFS是输出分隔符 可以不用OFS直接FS="," awk 'BEGIN{FS=OFS=","}{ 使用分割后的值$1$2... }' input_file //需要注意的是，当你在对分割后的变量做出修改后，再输出$0将没有分割符，所以需要你手动指定输出分割符 //还有一种情况，假如我们需要多个分隔符怎么办，例如需要按逗号分隔并且也按竖杠分隔,可以如下标识，将分隔符写在[]内，像正则一样 awk 'BEGIN{FS=OFS="[,|]"}{ 使用分割后的值$1$2... }' input_file //使用多分隔符后需要注意的是这时候如果指定OFS=FS的话，那么输出$0的时候将包含多个分隔符，建议单独指定OFS的值。
awk之字符串
-
字符串长度
//字符串的长度调用内置函数即可 awk '{ data="bean" char_count=length(data); }' input_file -
字符串截取
//字符串的截取同样调用函数即可 //substr函数第一个是被截取字符串，第二个是起始位置，从1开始，第三个是截取长度 awk '{ data="bean" char_second=substr(data,2,1); }' input_file -
字符串替换
字符串替换是一个比较常用的功能，经常在使用分隔变量前对数据进行预处理，这里举一个全局替换的例子
//例如文件中的时间字段为2019-10-07 20:22:10 我们希望保留纯数字格式为20191007202210，这时候就可以用字符串替换 awk '{ //使用gsub进行替换，第一个参数是匹配替换字符的正则表达式，第二个是替换成什么样的字符，这里的例子是去除，所以填了空字符，第三个参数是待替换的字符串 //正则里包含 "-" ":" "空格" 三种替换符号 gsub(/[-: ]/,"",overtime); }' input_file
4.正则匹配
进行字符串比较判断时，通常正则是一个比较方便的方式，接下来我们说一下awk的正则表达匹配。
//首先说明awk正则匹配的运算符是：
~ 表示匹配
~！表示不匹配
//并且正则表达式位于//之间
//例如:
echo aabbcc112233 | awk '{if($1 ~ /^aab+/){print "ok"}}'
//输出：
ok
//awk支持的元字符
^ $ . [ ] | ( ) * + ?
awk之数组
-
数组定义
//数组定义比较简单，直接定义就可,awk中的数组键值可以是数字也可以是字符串 awk '{ data[0]=111; data[name]=222; print data[name]; }' input_file //有一个常见的需求是读取文件中的数据并将某个字段设为键，某个字段设为值，然后生成一个数组供下一步使用，可以这样使用 awk ' ARGIND==1{ //用分割字段指定键值 data[$1]=$2; } ARGIND==2{ some_value=data[some_key] }' input_config input_file -
数组键值包含
对于数组，经常还会判断数组中是否存在某个键，例如用来判断一个文件是否包含另一个文件的时候，会把一个文件中的值存成数组然后去比较键是否存在
awk ' ARGIND==1{ data[$1]=$2; } ARGIND==2{ //在这里进行比较判断 mobile=123 if(mobile in data) { //如果mobile存在于data的键中，则if成立 } }' input_config input_file
