您当前的位置:首页 > 电脑百科 > 软件技术 > 操作系统 > linux

Linux Shell三剑客之awk,功能强大的文本处理工具

时间:2023-01-12 15:08:53  来源:  作者:蒲公英互联

awk命令初学时没有主要思路,不清楚具体功能,很容易沉迷在指令参数的海洋里,而且,awk还支持循环、判断,相当于学习一门小型编程语言,学习难度比较高。

对于大多数人来说,理解能力都差不多,按照本文案例流程,在自己的linux上敲一遍,和结果对比,检查是否一致,就很容易理解了。

用手学Linux

不求面面俱到,只求初步掌握,熟练后再搭配其他指令灵活运用。

awk简介

awk是Linux Shell中一种非常强大的文本处理工具,数据可以来自标准输入或者管道

awk不仅仅是一个命令,更是一门编程语言,支持选择结构、循环结构、以及丰富的逻辑运算符,便于进行复杂的文本处理;


 

awk按照行处理文本,逐行扫描,默认从第一行到最后一行,找到匹配到特定行,并进行相关操作;

awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人,分别是Alfred Aho、Brian Kernighan、Peter Weinberger。

语法格式:

awk 选项 'commands' 文件名常用选项:-F 定义字段分割符号,默认的分隔符是空格-v 定义变量并赋值


 

-F: 是以:将源文件分隔

/root/匹配源文件中包括root的行,打印出文件名,如果不进行匹配,则源文件有多少行就打印出多少行文件名

$0打印出匹配到行的全部内容

awk内置变量

变量

变量说明

$0

当前处理行的所有记录

1,1,2,3...3...n

文件中每行以间隔符号分割的不同字段

NF

当前记录的字段数(列数)

$NF

最后一列

NR

行号

FS

定义间隔符

OFS

定义输出字段分隔符,默认空格

RS

输入记录分割符,默认换行

ORS

输出记录分割符,默认换行

FILENAME

当前输入的文件名


 

打印列数、最后一列、第1列、第2列、倒数第二列。


 

打印第1行到第5行。


 

用分号;分隔开两部分匹配规则,可以理解为或的关系,前面是匹配1-5行,后面是匹配以root开头的行,是前3行。一共输出8行。

格式化输入printf


 

%s字符串类型占位符,默认右对齐,前面加负号-左对齐。

awk中BEGIN...END使用

BEGIN:表示在程序开始前执行

END:表示所有文件处理完后执行

用法:'BEGIN{开始处理之前};{处理中};END{处理结束后}'


 

awk -F: 'BEGIN{print "NAMEtDIRtSHELLn***************************************"}{printf "%-10s %-10s %-10sn",$1,$(NF-1),$NF}END{print "****************************************"}' input.txt间隔符


 

BEGIN{FS=":"}相当于使用选项-F:


 

OFS输出间隔为两个制表符t。


 

输入内容以@分隔。


 

输出内容指定以"++++"分隔。

awk工作原理

  1. awk使用一行作为输入,并将这一行赋给内部变量$0,每一行也可称为一个记录,以换行符(RS)结束
  2. 每行被间隔符(默认为空格或制表符)分解成字段,每个字段存储在已编号的变量中,从$1开始
  3. 问:awk如何知道用空格来分隔字段的呢?
  4. 答:因为有一个内部变量FS来确定字段分隔符。初始时,FS赋为空格。
  5. awk使用print函数打印字段,打印出来的字段会以空格分隔,比如1,1,3之间有一个逗号,但是逗号比较特殊,它映射为另一个内部变量,称为输出字段分隔符OFS,OFS默认为空格。
  6. awk处理完一行后,将从文件中获取另一行,并将其存储在$0中,覆盖原来的内容,然后将新的字符串分隔成字段并进行处理,该过程将持续到所有行处理完毕。
awk变量定义

 


 

调用awk中变量不需要加$。

逻辑运算符


 

使用或||运算符打印第1行和第4行。


 

匹配1-4行或者以hioiei开头的行。

流程控制

awk的流程控制和一般编程语言中的逻辑一样,包括选择结构和循环结构,用于处理复杂的命令逻辑。

if条件判断单分支结构:{if(表达式){语句1;语句2;...}}


 

双分支结构:{if(表达式){语句;语句;...}else{语句;语句;...}}


 

多分支结构:{ if(表达式1){语句;语句;...}else if(表达式2){语句;语句;...}else if(表达式3){语句;语句;...}else{语句;语句;...}}


 

循环结构


 

while循环打印1-10


 

for循环打印1-10并求和,结果55。


 

break跳出整个循环,continue跳出本次循环,继续进入下一次循环,由于本次结束后,i并没有加1,因此程序一直卡住。

思考,如何调整循环体的顺序?使得跳出本次循环后,进入下一次循环。

算术运算


 

awk按照浮点数进行数学运算。

脚本运行


 

#!/usr/bin/awk -fBEGIN{FS=":"}NR=1,NR=3{print $1"t"$NF}

运行:

1.awk -f awk.sh input.txt2.awk -f awk.sh input.txt

 

  • 什么是Linux系统?我们是否要用Linux
  • 学习Linux命令行,用手就行!
  • Linux神之编辑器VIM,史上最强编辑器!
  • Linux系统虚拟机和云服务配置,快速搭建学习环境
  • Linux系统虚拟机和云服务配置,快速搭建学习环境
  • Linux tmux终端复用器,远程指令再也不会中断了!
  • 远程登录Linux服务器,SSH加密传输协议,一种更安全的协议
  • Linux如何新建用户,支持多用户共同使用的操作系统
  • 什么是C++编程,经久不衰的老牌编程语言
  • 什么是C++变量,就是存储数据的盒子

 



Tags:Linux Shell   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
awk命令初学时没有主要思路,不清楚具体功能,很容易沉迷在指令参数的海洋里,而且,awk还支持循环、判断,相当于学习一门小型编程语言,学习难度比较高。对于大多数人来说,理解能力都差...【详细内容】
2023-01-12  Tags: Linux Shell  点击:(0)  评论:(0)  加入收藏
在 shell 中使用 bc 更好地做算数,它是一种用于高级计算的数学语言。• 来源:linux.cn • 作者:Seth Kenlon • 译者:geekpi •(本文字数:1955,阅读时长大约:2 分...【详细内容】
2020-09-29  Tags: Linux Shell  点击:(232)  评论:(0)  加入收藏
本篇主要是以x64系统为例对系统调用中一些功能性函数的解读和实际运用。目前网络上流传的通用shellcode,均使用系统调用实现,在记录整个学习过程的同时分享给大家一起学习探讨...【详细内容】
2020-09-02  Tags: Linux Shell  点击:(117)  评论:(0)  加入收藏
1、单引号(' ')单引号所见即所得,直接显示单引号里的内容。即单引号里的任何字符都会原样输出,单引号字符串中的变量是无效的。比如下面的例子,单引号所见即所得。 2、...【详细内容】
2020-08-03  Tags: Linux Shell  点击:(326)  评论:(0)  加入收藏
分享下处理数据分析时,linux shell 两个比较基础的工具sed 指令非交互式的字符流编辑器,支持对多文件多行的管道处理sed [option] 'command' f.txtsed -n '2,3p...【详细内容】
2020-07-24  Tags: Linux Shell  点击:(127)  评论:(0)  加入收藏
Linux为高级用户提供了一些最好的开源shell,我们冒昧地为Linux用户列出了一些最好的免费开源shell。请仔细阅读本文,找出最适合您的Linux shell。自从70年代Unix系统诞生以来,...【详细内容】
2020-05-04  Tags: Linux Shell  点击:(175)  评论:(0)  加入收藏
Linux为高级用户提供了一些最好的开源shell,我们冒昧地为Linux用户列出了一些最好的免费开源shell。请仔细阅读本文,找出最适合您的Linux shell。自从70年代Unix系统诞生以来,...【详细内容】
2020-05-04  Tags: Linux Shell  点击:(185)  评论:(0)  加入收藏
转自 | talkwithtrend作者 | db2haodbshell的逻辑运算符 涉及有以下几种类型,因此只要适当选择,可以解决我们很多复杂的判断,达到事半功倍效果。一、逻辑运算符1、逻辑卷标...【详细内容】
2019-12-17  Tags: Linux Shell  点击:(242)  评论:(0)  加入收藏
Linux 内置命令属于用户 shell 的一部分,本文将告诉你如何识别它们并获取使用它们的帮助。-- Sandra Henry-stocker(作者)Linux 内置命令是内置于 shell 中的命令,很像内置于墙...【详细内容】
2019-12-06  Tags: Linux Shell  点击:(287)  评论:(0)  加入收藏
Linux Shell是一种基本功,由于怪异的语法加之较差的可读性,通常被Python等脚本代替。既然是基本功,那就需要掌握,毕竟学习Shell脚本的过程中,还是能了解到很多Linux系统的内容。...【详细内容】
2019-10-25  Tags: Linux Shell  点击:(1248)  评论:(0)  加入收藏
▌简易百科推荐
awk命令初学时没有主要思路,不清楚具体功能,很容易沉迷在指令参数的海洋里,而且,awk还支持循环、判断,相当于学习一门小型编程语言,学习难度比较高。对于大多数人来说,理解能力都差...【详细内容】
2023-01-12  蒲公英互联     Tags:Linux Shell   点击:(0)  评论:(0)  加入收藏
在这篇文章中,我回顾了 2022 年最好的 Linux 发行版 —— 而剧透一下:它们并不都是基于 Ubuntu 的! 我知道:我每年都会开这样的玩笑。但是,嘿:我写的是 Ubuntu。我使用...【详细内容】
2023-01-02  硬核老王  今日头条  Tags:Linux   点击:(20)  评论:(0)  加入收藏
1、请简述OSI七层网络模型有哪些层及各自的含义? 物理层:底层数据传输,比如网线、网卡标准 数据链路层:定义数据的基本格式,如何传输,如何标识。比如网卡MAC地址 网络层:定义IP编...【详细内容】
2022-12-30  LinkSLA智能运维管家  今日头条  Tags:Linux   点击:(40)  评论:(0)  加入收藏
Linux系统加固中有一项,不给普通用户使用su命令切换root超级权限账户。可以通过修改PAM模块来实现。首先需要正常登录root账户。通过root账户修改。具体如下:1、编辑/etc/pam....【详细内容】
2022-12-25  信安小蓝  今日头条  Tags:Linux   点击:(48)  评论:(0)  加入收藏
1. 介绍今天登录自己的阿里云ECS服务器时(通过Xshell 利用用户名和密码登录的)。登录成功后,提示让我们修改root密码。效果如下:WARNING: Your password has expired.You must...【详细内容】
2022-12-05  zinyan  今日头条  Tags:Linux   点击:(64)  评论:(0)  加入收藏
1. 介绍主要介绍,如何在我们自己的个人云服务器中搭建Leanote云笔记。我的服务器为CentOS环境的,所以下面的操作主要是CentOS的。其他环境下也是大同小异。只是部分配置指令会...【详细内容】
2022-12-05  zinyan  今日头条  Tags:Leanote   点击:(80)  评论:(0)  加入收藏
一、身份鉴别a)应对登录的用户进行身份标识和鉴别,身份标识具有唯一性,身份鉴别信息具有复杂度要求并定期更换;1、应核查用户在登陆时是否采用了身份鉴别措施;用户登录服务器需要...【详细内容】
2022-12-01  网络安全晴雨表  今日头条  Tags:linux   点击:(57)  评论:(0)  加入收藏
Linux 端口的开启 Linux 端口的开启 一、firewall 方式 (centOS7.*) 二、修改 iptables 方式 (centOS6.*)一、firewall 方式 (centOS7.*) 查看防火墙状态firewall-cmd --sta...【详细内容】
2022-12-01  网络安全晴雨表  今日头条  Tags:Linux端口   点击:(60)  评论:(0)  加入收藏
前言作为一名测试人员,难免需要维护业务线的测试环境。初时每当研发通知某某机器又挂了、某某机器太卡了,笔者完全两眼一抹黑,无从入手。而当了解了 linux 基本性能,熟悉其基本...【详细内容】
2022-12-01  沪北柒哥  今日头条  Tags:Linux性能   点击:(89)  评论:(0)  加入收藏
对于rm,很多人都有惨痛的教训。我也遇到一次,一下午写的程序就被rm掉了,幸好只是一个文件,第二天很快又重新写了一遍。但是很多人可能就不像我这么幸运了。本文收集了一些在lin...【详细内容】
2022-11-30  LinkSLA智能运维管家  今日头条  Tags:Linux   点击:(82)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条