注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

涅槃

文档收藏

 
 
 

日志

 
 
 
 

awk的3个例子(成长篇)  

2013-04-10 22:10:32|  分类: awk&sed |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

张映 发表于 2010-11-23

分类目录: shell

最近看到论坛里面有几个不错的小例子,对于学习awk还是有帮助,在这儿详细的说一下

一,类似数据库中的left join查询

  1. [root@krlcgcms01 mytest]# cat a.txt    //a.txt  
  2. 111   aaa  
  3. 222   bbb  
  4. 333   cccc  
  5. 444   ddd  
  6. [root@krlcgcms01 mytest]# cat b.txt    //b.txt  
  7. 111  123  456  
  8. 2    abc  cbd  
  9. 444  rts  786  

要求输出结果是

111,aaa,123,456
444,ddd,rts,786

实现方法1,

  1. [root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt  
  2. 111,aaa,123,456  
  3. 444,ddd,rts,786  

解释:当NR和FNR相同时,这就说明在对第一个文件进行操作,a[$1]=$2表示,建立一个数组,以第一个字段为下标,第二个字段为值。当NR!=FNR时,说明在对第二个文件进行操作,注意:这个时候的$1和前面的$1不是同一个东西了,前面的$1表示的是a.txt的第一个字段,而后面的$1表示的是b.txt的第一个字段。a[$1]表示以b.txt中第一个字段的为下标的值,如果a[$1]有值的话,说明也存在于a.txt文件中,这样就把数据print出来就行了。

实现方法2,

  1. [root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt  
  2. 111,aaa,123,456  
  3. 444,ddd,rts,786  

解释:-v OFS=","这个是设置输出时的列分割符,$1 in a这个是b.txt文件中的第一列的值是不是在数组a的key中,这个对做程序的来说很好理解,各种语言当中都有这样的用法,或者函数。例如,php中有in_array函数。比较一下,方法1和方法2中的print,方法1我加了双引号,方法2我却没有加,但是输出的效果却是一样的。

二,去除重复的值

  1. [root@krlcgcms01 mytest]# cat repea   //文件repea  
  2.  a b  
  3.  c d  
  4.  e f  
  5.  b d  
  6.  b a  
  7.  f e  
  8.  1 2  
  9.  2 1  

如果有a,b和b,a这样的情况,就删除b,a,当然数字也一样;

实现方法1,

  1. awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' repea|sort|uniq  
  2. 1       2  
  3. a       b  
  4. b       d  
  5. c       d  
  6. e       f  

解释:for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中,asort(a),这个数组进行排序,后面的代码是将数组数据输出来,通sort命令对输入的数据进行排序,相同数据会排在一起,通过uniq来进行去除相同的列。这种方法比较有通用性,不光适合二列,三列,四列都行。不过效率差了点。

实现方法2,

  1. [root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea  
  2. a b  
  3. c d  
  4. e f  
  5. b d  
  6. 1 2  
  7. [root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print  }' repea     
  8. a b  
  9. c d  
  10. e f  
  11. b d  
  12. 1 2  

解释:方法2的二种写法,出来的结果是一样的,a[$0];没有赋值也没有报错,为什么呢?awk在遇到这样没有定义的变量时,会给它一个初值。if (!($2 OFS $1 in a))表示返转字段不在数组a中,这里所说的在,表示key是不是存在,不是值。print 不写默认是一行。

实现方法3,

  1. [root@krlcgcms01 mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea  
  2. a b  
  3. c d  
  4. e f  
  5. b d  
  6. 1 2  
  7. [root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea  
  8. a b  
  9. c d  
  10. e f  
  11. b d  
  12. 1 2  

解释:!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),对于首次出现的记录,a[$2_$1]的值是未定义的,由于后面的 ++ 是数学计算,所以a[$2_$1]会被赋值成数字0,也是由于 ++ 操作符,会先取值,再计算,从左到右 ++ 运算符的优先级大于!运算符的,所以对于第一行记录实际上是if(! 0) print $0     ! 是取反,0 是假,! 0 就是真,那么就会执行后面的 print $0对于后面出现的重复记录,a[$0] 经过 ++ 的计算已经变为 1、2、3 。。。而 ! 1  ! 2  ! 3 ... 都为假,不会打印。

三,awk的局部变量

这个例子来说明一下,awk怪异的局部变量

  1. [root@krlcgcms01 mytest]# cat sum  
  2.  1       2  
  3.  2       3  
  4.  a       b  
  5.  3       2  
  6.  4       1  
  7.  3       r  

把都是数字的行,最大的那个数字加起来,第一行是2,第二行是3,每四行是3,第五行是4,总和是12

  1. function max(one,two){  
  2.  if(one > two){  
  3.  sum = sum + one;  
  4.  }else{  
  5.  sum  = sum + two;  
  6.  }  
  7.  }  
  8.   
  9. {if($1~"[0-9]" && $2~"[0-9]") max($1,$2);}  
  10.  END{print "sum="sum}  

在max方法里面,变量sum是会影响外面的,这里的sum是全局的。

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12

  1. function max(one,two,sum){    //方法中的sum局部变量  
  2. if(one > two){  
  3. sum = sum + one;  
  4. }else{  
  5. sum  = sum + two;  
  6. }  
  7. }  
  8.   
  9. {if($1~"[0-9]" && $2~"[0-9]") max($1,$2,sum);}  
  10.   
  11. END{print "sum="sum}         //所以为空  

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=

  1. function max(one,two,sum){  
  2.  if(one > two){  
  3.  sum = sum + one;  
  4.  }else{  
  5.  sum  = sum + two;  
  6.   
  7.  }  
  8.   
  9.   return  sum                 //加上return就可以了  
  10.  }  
  11.   
  12. {if($1~"[0-9]" && $2~"[0-9]") sum = max($1,$2,sum);}  
  13.   
  14. END{print "sum="sum}  

收藏、分享这篇文章!

转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/shell/1130.html
  评论这张
 
阅读(420)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018