网易 
新闻 LOFTER 邮箱 相册 阅读 图书 有道 摄影 企业邮箱 优惠券 云笔记 闪电邮 邮箱大师 印像派 考拉海购
 
更多
博客 
手机博客 博客搬家 博客VIP服务 发现 小组 风格
 
群博客 博客油菜地 博客话题 博客热点 博客圈子 找朋友
 
登录  
 加关注
   显示下一条  |  关闭
温馨提示！由于新浪微博认证机制调整，您的新浪微博帐号绑定已过期，请重新绑定！立即重新绑定新浪微博》  |  关闭

涅槃

文档收藏

导航

 
 
 
 
 

日志

 
 
关于我
c20031776
文章分类
 
 

awk的3个例子(成长篇)  

2013-04-10 22:10:32|  分类： awk&sed |  标签： |举报 |字号大中小 订阅

  下载LOFTER 我的照片书  |

张映 发表于 2010-11-23

分类目录： shell

最近看到论坛里面有几个不错的小例子，对于学习awk还是有帮助，在这儿详细的说一下

一，类似数据库中的left join查询

  1. [root@krlcgcms01 mytest]# cat a.txt    //a.txt  
  2. 111   aaa  
  3. 222   bbb  
  4. 333   cccc  
  5. 444   ddd  
  6. [root@krlcgcms01 mytest]# cat b.txt    //b.txt  
  7. 111  123  456  
  8. 2    abc  cbd  
  9. 444  rts  786  

要求输出结果是

111,aaa,123,456
444,ddd,rts,786

实现方法1，

  1. [root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt  
  2. 111,aaa,123,456  
  3. 444,ddd,rts,786  

解释：当NR和FNR相同时,这就说明在对第一个文件进行操作，a[$1]=$2表示，建立一个数组，以第一个字段为下标，第二个字段为值。当NR!=FNR时,说明在对第二个文件进行操作，注意：这个时候的$1和前面的$1不是同一个东西了，前面的$1表示的是a.txt的第一个字段，而后面的$1表示的是b.txt的第一个字段。a[$1]表示以b.txt中第一个字段的为下标的值，如果a[$1]有值的话，说明也存在于a.txt文件中，这样就把数据print出来就行了。

实现方法2，

  1. [root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt  
  2. 111,aaa,123,456  
  3. 444,ddd,rts,786  

解释：-v OFS=","这个是设置输出时的列分割符，$1 in a这个是b.txt文件中的第一列的值是不是在数组a的key中，这个对做程序的来说很好理解，各种语言当中都有这样的用法，或者函数。例如，php中有in_array函数。比较一下，方法1和方法2中的print，方法1我加了双引号，方法2我却没有加，但是输出的效果却是一样的。

二，去除重复的值

  1. [root@krlcgcms01 mytest]# cat repea   //文件repea  
  2.  a b  
  3.  c d  
  4.  e f  
  5.  b d  
  6.  b a  
  7.  f e  
  8.  1 2  
  9.  2 1  

如果有a,b和b,a这样的情况，就删除b,a，当然数字也一样;

实现方法1，

  1. awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' repea|sort|uniq  
  2. 1       2  
  3. a       b  
  4. b       d  
  5. c       d  
  6. e       f  

解释：for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中，asort(a)，这个数组进行排序，后面的代码是将数组数据输出来，通sort命令对输入的数据进行排序，相同数据会排在一起，通过uniq来进行去除相同的列。这种方法比较有通用性，不光适合二列，三列，四列都行。不过效率差了点。

实现方法2，

  1. [root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea  
  2. a b  
  3. c d  
  4. e f  
  5. b d  
  6. 1 2  
  7. [root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print  }' repea     
  8. a b  
  9. c d  
  10. e f  
  11. b d  
  12. 1 2  

解释：方法2的二种写法，出来的结果是一样的，a[$0];没有赋值也没有报错，为什么呢？awk在遇到这样没有定义的变量时，会给它一个初值。if (!($2 OFS $1 in a))表示返转字段不在数组a中，这里所说的在，表示key是不是存在，不是值。print 不写默认是一行。

实现方法3，

  1. [root@krlcgcms01 mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea  
  2. a b  
  3. c d  
  4. e f  
  5. b d  
  6. 1 2  
  7. [root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea  
  8. a b  
  9. c d  
  10. e f  
  11. b d  
  12. 1 2  

解释：!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),对于首次出现的记录，a[$2_$1]的值是未定义的，由于后面的 ++ 是数学计算，所以a[$2_$1]会被赋值成数字0，也是由于 ++ 操作符，会先取值，再计算，从左到右 ++ 运算符的优先级大于！运算符的，所以对于第一行记录实际上是if(! 0) print $0     ! 是取反，0 是假，! 0 就是真，那么就会执行后面的 print $0对于后面出现的重复记录，a[$0] 经过 ++ 的计算已经变为 1、2、3 。。。而 ! 1  ! 2  ! 3 ... 都为假，不会打印。

三，awk的局部变量

这个例子来说明一下，awk怪异的局部变量

  1. [root@krlcgcms01 mytest]# cat sum  
  2.  1       2  
  3.  2       3  
  4.  a       b  
  5.  3       2  
  6.  4       1  
  7.  3       r  

把都是数字的行，最大的那个数字加起来，第一行是2，第二行是3，每四行是3，第五行是4，总和是12

  1. function max(one,two){  
  2.  if(one > two){  
  3.  sum = sum + one;  
  4.  }else{  
  5.  sum  = sum + two;  
  6.  }  
  7.  }  
  8.   
  9. {if($1~"[0-9]" && $2~"[0-9]") max($1,$2);}  
  10.  END{print "sum="sum}  

在max方法里面，变量sum是会影响外面的，这里的sum是全局的。

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12

  1. function max(one,two,sum){    //方法中的sum局部变量  
  2. if(one > two){  
  3. sum = sum + one;  
  4. }else{  
  5. sum  = sum + two;  
  6. }  
  7. }  
  8.   
  9. {if($1~"[0-9]" && $2~"[0-9]") max($1,$2,sum);}  
  10.   
  11. END{print "sum="sum}         //所以为空  

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=

  1. function max(one,two,sum){  
  2.  if(one > two){  
  3.  sum = sum + one;  
  4.  }else{  
  5.  sum  = sum + two;  
  6.   
  7.  }  
  8.   
  9.   return  sum                 //加上return就可以了  
  10.  }  
  11.   
  12. {if($1~"[0-9]" && $2~"[0-9]") sum = max($1,$2,sum);}  
  13.   
  14. END{print "sum="sum}  

收藏、分享这篇文章!

转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/shell/1130.html
  评论这张
 
阅读(700)| 评论(0)

历史上的今天

评论

<#--最新日志，群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

我的照片书 - 手机博客 - 下载LOFTER APP - 订阅此博客

网易公司版权所有 ©1997-2018