成都网站建设设计

将想法与焦点和您一起共享

linux中文本处理命令 linux 文本编辑命令

linux常用的命令有哪些

Linux运维人员必会的120个命令

成都创新互联专注于企业成都全网营销、网站重做改版、岷县网站定制设计、自适应品牌网站建设、成都h5网站建设商城网站开发、集团公司官网建设、外贸网站制作、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为岷县等各大城市提供网站开发制作服务。

来自《跟老男孩学Linux运维:核心系统命令实战》一书

前言

第1章 Linux命令行简介 / 1

1.1Linux命令行概述 / 1

1.2在Linux命令行下查看命令帮助 / 4

1.3Linux shutdown reboot halt / 9

关机:

shutdown -h now

halt

init 0

第2章 文件和目录操作命令 / 13

2.1pwd:显示当前所在的位置 / 13

2.2cd:切换目录 / 16

2.3tree:以树形结构显示目录下的内容 / 18

2.4mkdir:创建目录 / 22

2.5touch:创建空文件或改变文件的时间戳属性 / 27

2.6ls:显示目录下的内容及相关属性信息 / 30

2.7cp:复制文件或目录 / 39

2.8mv:移动或重命名文件 / 42

2.9rm:删除文件或目录 / 45

2.10rmdir:删除空目录 / 48

2.11ln:硬链接与软链接 / 49

2.12readlink:查看符号链接文件的内容 / 54

2.13find:查找目录下的文件 / 55

2.14xargs:将标准输入转换成命令行参数 / 68

2.15rename:重命名文件 / 71

2.16basename:显示文件名或目录名 / 72

2.17dirname:显示文件或目录路径 / 72

2.18chattr:改变文件的扩展属性 / 73

2.19lsattr:查看文件扩展属性 / 75

2.20file:显示文件的类型 / 76

2.21md5sum:计算和校验文件的MD5值 / 77

2.22chown:改变文件或目录的用户和用户组 / 80

2.23chmod:改变文件或目录权限 / 81

2.24chgrp:更改文件用户组 / 85

2.25umask:显示或设置权限掩码 / 86

2.26老男孩从新手成为技术大牛的心法 / 90

第3章 文件过滤及内容编辑处理命令 / 91

3.1cat:合并文件或查看文件内容 / 91

3.2tac:反向显示文件内容 / 103

3.3more:分页显示文件内容 / 104

3.4less:分页显示文件内容 / 107

3.5head:显示文件内容头部 / 109

3.6tail:显示文件内容尾部 / 111

3.7tailf:跟踪日志文件 / 114

3.8cut:从文本中提取一段文字并输出 / 115

3.9split:分割文件 / 117

3.10paste:合并文件 / 118

3.11sort:文本排序 / 123

3.12join:按两个文件的相同字段合并 / 127

3.13uniq:去除重复行 / 129

3.14wc:统计文件的行数、单词数或字节数 / 131

3.15iconv:转换文件的编码格式 / 133

3.16dos2unix:将DOS格式文件转换成UNIX格式 / 134

3.17diff:比较两个文件的不同 / 135

3.18vimdiff:可视化比较工具 / 138

3.19rev:反向输出文件内容 / 139

3.20tr:替换或删除字符 / 140

3.21od:按不同进制显示文件 / 143

3.22tee:多重定向 / 145

3.23vi/vim:纯文本编辑器 / 147

3.24老男孩逆袭思想:做Linux运维的多个好处 / 152

第4章 文本处理三剑客 / 153

4.1grep:文本过滤工具 / 153

4.2sed:字符流编辑器 / 159

4.3awk基础入门 / 165

第5章 Linux信息显示与搜索文件命令 / 176

5.1uname:显示系统信息 / 176

5.2hostname:显示或设置系统的主机名 / 178

5.3dmesg:系统启动异常诊断 / 179

5.4stat:显示文件或文件系统状态 / 181

5.5du:统计磁盘空间使用情况 / 183

5.6date:显示与设置系统时间 / 186

5.7echo:显示一行文本 / 190

5.8watch:监视命令执行情况 / 193

5.9which:显示命令的全路径 / 195

5.10whereis:显示命令及其相关文件全路径 / 196

5.11locate:快速定位文件路径 / 197

5.12updatedb:更新mlocate数据库 / 199

5.13老男孩逆袭思想:新手在工作中如何问问题不会被鄙视 / 200

第6章 文件备份与压缩命令 / 201

6.1tar:打包备份 / 201

6.2gzip:压缩或解压文件 / 208

6.3zip:打包和压缩文件 / 211

6.4unzip:解压zip文件 / 212

6.5scp:远程文件复制 / 214

6.6rsync:文件同步工具 / 216

6.7老男孩逆袭思想:新手如何高效地提问 / 220

第7章 Linux用户管理及用户信息查询命令 / 222

7.1 useradd:创建用户 / 222

7.2usermod:修改用户信息 / 227

7.3userdel:删除用户 / 229

7.4groupadd:创建新的用户组 / 230

7.5groupdel:删除用户组 / 231

7.6passwd:修改用户密码 / 232

7.7chage:修改用户密码有效期 / 237

7.8chpasswd:批量更新用户密码 / 238

7.9su:切换用户 / 240

7.10visudo:编辑sudoers文件 / 242

7.11sudo:以另一个用户身份执行命令 / 244

7.12id:显示用户与用户组的信息 / 248

7.13w:显示已登录用户信息 / 249

7.14who:显示已登录用户信息 / 250

7.15users:显示已登录用户 / 252

7.16whoami:显示当前登录的用户名 / 253

7.17last:显示用户登录列表 / 253

7.18lastb:显示用户登录失败的记录 / 254

7.19lastlog:显示所有用户的最近登录记录 / 255

第8章 Linux磁盘与文件系统管理命令 / 257

8.1fdisk:磁盘分区工具 / 257

8.2partprobe:更新内核的硬盘分区表信息 / 265

8.3tune2fs:调整ext2/ext3/ext4文件系统参数 / 266

8.4parted:磁盘分区工具 / 268

8.5mkfs:创建Linux文件系统 / 272

8.6dumpe2fs:导出ext2/ext3/ext4文件系统信息 / 274

8.7resize2fs:调整ext2/ext3/ext4文件系统大小 / 275

8.8fsck:检查并修复Linux文件系统 / 278

8.9dd:转换或复制文件 / 281

8.10mount:挂载文件系统 / 284

8.11umount:卸载文件系统 / 288

8.12df:报告文件系统磁盘空间的使用情况 / 289

8.13mkswap:创建交换分区 / 293

8.14swapon:激活交换分区 / 294

8.15swapoff:关闭交换分区 / 295

8.16sync:刷新文件系统缓冲区 / 296

第9章 Linux进程管理命令 / 298

9.1ps:查看进程 / 298

9.2pstree:显示进程状态树 / 305

9.3pgrep:查找匹配条件的进程 / 306

9.4kill:终止进程 / 307

9.5killall:通过进程名终止进程 / 310

9.6pkill:通过进程名终止进程 / 311

9.7top:实时显示系统中各个进程的资源占用状况 / 313

9.8nice:调整程序运行时的优先级 / 320

9.9renice:调整运行中的进程的优先级 / 323

9.10nohup:用户退出系统进程继续工作 / 324

9.11strace:跟踪进程的系统调用 / 325

9.12ltrace:跟踪进程调用库函数 / 332

9.13runlevel:输出当前运行级别 / 334

9.14init:初始化Linux进程 / 335

9.15service:管理系统服务 / 335

第10章 Linux网络管理命令 / 338

10.1ifconfig:配置或显示网络接口信息 / 338

10.2ifup:激活网络接口 / 343

ifup eth0

10.3ifdown:禁用网络接口 / 343

ifdown eth0

service network restart(/etc/init.d/network restart) 激活整个网络,所有网卡。

10.4route:显示或管理路由表 / 344

10.5arp:管理系统的arp缓存 / 350

10.6ip:网络配置工具 / 351

10.7netstat:查看网络状态 / 358

10.8ss:查看网络状态 / 362

10.9ping:测试主机之间网络的连通性 / 363

10.10traceroute:追踪数据传输路由状况 / 366

10.11arping:发送arp请求 / 367

10.12telnet:远程登录主机 / 369

10.13nc:多功能网络工具 / 370

10.14ssh:安全地远程登录主机 / 373

10.15wget:命令行下载工具 / 376

10.16mailq:显示邮件传输队列 / 379

10.17mail:发送和接收邮件 / 381

10.18nslookup:域名查询工具 / 386

10.19dig:域名查询工具 / 389

10.20host:域名查询工具 / 393

10.21nmap:网络探测工具和安全/端口扫描器 / 394

10.22tcpdump:监听网络流量 / 398

第11章 Linux系统管理命令 / 407

11.1lsof:查看进程打开的文件 / 407

11.2uptime:显示系统的运行时间及负载 / 411

11.3free:查看系统内存信息 / 411

11.4iftop:动态显示网络接口流量信息 / 413

11.5vmstat:虚拟内存统计 / 415

11.6mpstat:CPU信息统计 / 419

11.7iostat:I/O信息统计 / 420

11.8iotop:动态显示磁盘I/O统计信息 / 423

11.9sar:收集系统信息 / 425

11.10chkconfig:管理开机服务 / 430

11.11ntsysv:管理开机服务 / 433

11.12 setup:系统管理工具 / 434

11.13ethtool:查询网卡参数 / 436

11.14mii-tool:管理网络接口的状态 / 437

11.19rpm:RPM包管理器 / 443

11.20yum:自动化RPM包管理工具 / 446

top命令

第12章 Linux系统常用内置命令 / 450

12.1Linux内置命令概述 / 450

12.2Linux内置命令简介 / 450

12.3Linux常用内置命令实例 / 452

linux:文本处理系列-1.行截取

(自己)常用的文本文件的行处理命令

示例文件:test.vcf

1、head -n 10 test.vcf

head : 默认是提取文件的前10行,-n 参数可以设定选择文件的前n行

2、tial -n 10 test.vcf

tail : 默认是提取文件的末尾10行, -n 参数可以设定选择文件末尾的n行

3、sed -n '10,20p' test.vcf

sed -n : 随意选择需要查看的行

sed命令是一个面向行处理的编辑器,可以和正则表达式配合使用,附上较全面的sed命令使用教程。

4、awk 截取行的指定长度字符串

less test.gz |awk '{if(NR%2==1){print}else{print substr($1,1,75)}}' | gzip -c test.part.gz

说明:对test.gz文件指定行截取75bp,原来是150bp

5、对n行的第三列求和,求平均值

grep -v ‘#’ test.vcf |sed -n '20,35p' |awk -F '\t' '{sum+=$3;n++}END{print sum,sum/n}'

(linux 一行命令计算速度比Python快,简单计算喜欢用linux命令)

记得随时整理使用过的命令,没学过linux,靠着各种帖子,随时需要随时补给,有点懒。

linux之文本内容替换命令sed

sed简介:流编辑工具,用来对文本进行过滤与替换操作。

sed流程:sed通过一次仅读取一行内容来对某些指令进行处理后输出。

1、sed通过文件或管道读取文件内容,但sed默认并不直接修改源文件,而是将读入的内容复制到缓冲区中,称之为模式空间。

2、所有的指令操作都是在模式空间找那个进行

3、sed根据相应的指令对模式空间中的内容进行处理并输出结果,默认输出至标准输出(即屏幕上)。

sed基本语法格式:

用法:sed[选项]...{脚本指令}[输入文件]...

选项: -version 显示sed版本

-help :显示帮助文档

-n,-quiet,-silent静默输出,默认情况下,sed程序在所有的脚本指令执行完毕后,将自动打印模式空间中的内容。

-e script允许多个脚本指令被执行

-f script-file从文件中读取脚本指令,对编写自动化脚本程序很实用

-i ,-in-place 该选项直接修改源文件

-l N 该选项指定l指令可以输出的行长度,l指令为输出非打印字符。

-posix 禁用GNU sed扩展功能。

-r 在脚本指令中使用扩展正则表达式。

-s,-separate 默认情况下,sed将把输入的多个文件名作为一个长的连续的输入流。而GNU sed则允许把它们当作单独的文件。

-u,-unbuffered 最低限度的缓存输入与输出

a,append表示追加指令;

i,insert表示插入指令;

d,delete表示删除指令;

s,substitution表示替换指令。

sed脚本指令的基本格式是:

[地址,即路径]命令(有些命令仅可以对一行操作,有些可以对多行操作),命令也可以用花括号进行组合,使命令序列可以作用于同一个地址。

address{

command1

command2

command3

}

sed的基本工作方式是:

sed的替换命令s:

1、全局替换 : s/old/new/g ,其中g为全局替换,用于替换所有出现的次数; /如果和正则匹配的内容冲突可以使用其他符号,如 : s@old@new@g

2、标志位

为什么要有多行模式: 配置文件一般有单行出现,但也有使用json或XML格式的配置文件,为多行出现。

多行模式处理命令N、D、P

Linux文本匹配命令grep与fgrep使用全解

Linux中grep与fgrep命令的使用,两个命令的使用都与文本的搜索与匹配相关,是Linux入门学习中的基础知识,接下来是我为大家收集的Linux文本匹配命令grep与fgrep使用全解,希望能帮到大家。

Linux文本匹配命令grep与fgrep使用全解

grep

grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展,支持更多的re元字符, fgrep就是fixed grep或fast grep,它们把所有的字母都看作单词,也就是说,正则表达式中的元字符表示回其自身的字面意义,不再特殊。Linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep的工作方式是这样的,它在一个或多个文件中搜索字符串模板。如果模板包括空格,则必须被引用,模板后的所有字符串被看作文件名。搜索的结果被送到屏幕,不影响原文件内容。

grep可用于shell脚本,因为grep通过返回一个状态值来说明搜索的状态,如果模板搜索成功,则返回0,如果搜索不成功,则返回1,如果搜索的文件不存在,则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。

grep --help

匹配模式选择:

-E, --extended-regexp 扩展正则表达式egrep

-F, --fixed-strings 一个换行符分隔的字符串的集合fgrep

-G, --basic-regexp 基本正则

-P, --perl-regexp 调用的perl正则

-e, --regexp=PATTERN 后面根正则模式,默认无

-f, --file=FILE 从文件中获得匹配模式

-i, --ignore-case 不区分大小写

-w, --word-regexp 匹配整个单词

-x, --line-regexp 匹配整行

-z, --null-data 一个 0 字节的数据行,但不是空行

杂项:

-s, --no-messages 不显示错误信息

-v, --invert-match 显示不匹配的行

-V, --version 显示版本号

--help 显示帮助信息

--mmap use memory-mapped input if possible

输入控制:

-m, --max-count=NUM 匹配的最大数

-b, --byte-offset 打印匹配行前面打印该行所在的块号码。

-n, --line-number 显示的加上匹配所在的行号

--line-buffered 刷新输出每一行

-H, --with-filename 当搜索多个文件时,显示匹配文件名前缀

-h, --no-filename 当搜索多个文件时,不显示匹配文件名前缀

--label=LABEL print LABEL as filename for standard input

-o, --only-matching 只显示一行中匹配PATTERN 的部分

-q, --quiet, --silent 不显示任何东西

--binary-files=TYPE 假定二进制文件的TYPE 类型;

TYPE 可以是`binary', `text', 或`without-match'

-a, --text 匹配二进制的东西

-I 不匹配二进制的东西

-d, --directories=ACTION 目录操作,读取,递归,跳过

-D, --devices=ACTION 设置对设备,FIFO,管道的操作,读取,跳过

-R, -r, --recursive 递归调用

--include=PATTERN 只查找匹配FILE_PATTERN 的文件

--exclude=PATTERN 跳过匹配FILE_PATTERN 的文件和目录

--exclude-from=FILE 跳过所有除FILE 以外的文件

-L, --files-without-match 匹配多个文件时,显示不匹配的文件名

-l, --files-with-matches 匹配多个文件时,显示匹配的文件名

-c, --count 显示匹配了多少次

-Z, --null 在FILE 文件最后打印空字符

文件控制:

-B, --before-context=NUM 打印匹配本身以及前面的几个行由NUM控制

-A, --after-context=NUM 打印匹配本身以及随后的几个行由NUM控制

-C, --context=NUM 打印匹配本身以及随后,前面的几个行由NUM控制

-NUM 根-C的用法一样的

--color[=WHEN],

--colour[=WHEN] 使用标志高亮匹配字串;

-U, --binary 使用标志高亮匹配字串;

-u, --unix-byte-offsets 当CR 字符不存在,报告字节偏移(MSDOS 模式)

例:

测试文件

复制代码

代码如下:

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa

DADddd:x:2:2:daemon:/sbin:/bin/false

mail:x:8:12:mail:/var/spool/mail:/bin/false

ftp:x:14:11:ftp:/home/ftp:/bin/false

nobody:$:99:99:nobody:/:/bin/false

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

http:x:33:33::/srv/http:/bin/false

dbus:x:81:81:System message bus:/:/bin/false

hal:x:82:82:HAL daemon:/:/bin/false

mysql:x:89:89::/var/lib/mysql:/bin/false

aaa:x:1001:1001::/home/aaa:/bin/bash

ba:x:1002:1002::/home/zhangy:/bin/bash

test:x:1003:1003::/home/test:/bin/bash

@zhangying:*:1004:1004::/home/test:/bin/bash

policykit:x:102:1005:Po

a,匹配含有root的行

复制代码

代码如下:

[root@krlcgcms01 test]# grep root test

root:x:0:0:root:/root:/bin/bash

b,匹配以root开头或者以zhang开头的行,注意反斜杠

复制代码

代码如下:

[root@krlcgcms01 test]# cat test |grep '^\(root\|zhang\)'

root:x:0:0:root:/root:/bin/bash

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

c,匹配以root开头或者以zhang开头的行,注意反斜杠,根上面一个例子一样,-e默认是省去的

[root@krlcgcms01 test]# cat test |grep -e '^\(root\|zhang\)'

root:x:0:0:root:/root:/bin/bash

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

d,匹配以zhang开头,只含有字母

复制代码

代码如下:

[root@krlcgcms01 test]# echo 'zhangying' |grep '^zhang[a-z]*$'

zhangying

e,匹配以bin开头的行,用的egrep,在这里可以换成-F,-G

复制代码

代码如下:

[root@krlcgcms01 test]# cat test |grep -E '^bin'

bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa

f,在匹配的行前面加上该行在文件中,或者输出中所在的行号

复制代码

代码如下:

[root@krlcgcms01 test]# cat test|grep -n zhangy

7:zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

13:ba:x:1002:1002::/home/zhangy:/bin/bash

15:@zhangying:*:1004:1004::/home/test:/bin/bash

g,不匹配以bin开头的行,并显示行号

复制代码

代码如下:

[root@krlcgcms01 test]# cat test|grep -nv '^bin'

root:x:0:0:root:/root:/bin/bash

DADddd:x:2:2:daemon:/sbin:/bin/false

mail:x:8:12:mail:/var/spool/mail:/bin/false

ftp:x:14:11:ftp:/home/ftp:/bin/false

nobody:$:99:99:nobody:/:/bin/false

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

http:x:33:33::/srv/http:/bin/false

dbus:x:81:81:System message bus:/:/bin/false

hal:x:82:82:HAL daemon:/:/bin/false

mysql:x:89:89::/var/lib/mysql:/bin/false

aaa:x:1001:1001::/home/aaa:/bin/bash

ba:x:1002:1002::/home/zhangy:/bin/bash

test:x:1003:1003::/home/test:/bin/bash

@zhangying:*:1004:1004::/home/test:/bin/bash

policykit:x:102:1005:Po

h,显示匹配的个数,不显示内容

复制代码

代码如下:

[root@krlcgcms01 test]# cat test|grep -c zhang

3

i,匹配system,没有加-i没有匹配到东西。

复制代码

代码如下:

[root@krlcgcms01 test]# grep system test

[root@krlcgcms01 test]# grep -ni system test

9:dbus:x:81:81:System message bus:/:/bin/false

j,匹配zhan没有匹配到东西,匹配zhangy能匹配到,因为在test文件中,有zhangy这个单词

复制代码

代码如下:

[root@krlcgcms01 test]# cat test|grep -w zhan

[root@krlcgcms01 test]# cat test|grep -w zhangy

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

ba:x:1002:1002::/home/zhangy:/bin/bash

k,在这里-x后面东西,和输出中的整行相同时,才会输出

[root@krlcgcms01 test]# echo "aaaaaa" |grep -x aaa

[root@krlcgcms01 test]# echo "aaaa" |grep -x aaaa

aaaa

l,最多只匹配一次,如果把-m 1去掉的话,会有三个

复制代码

代码如下:

[root@krlcgcms01 test]# cat test |grep -m 1 zhang

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

m,匹配行的前面显示块号,这个块号是干什么的,不知道,有谁知道可否告诉我一下

复制代码

代码如下:

[apacheuser@krlcgcms01 test]$ cat test |grep -b zha

241:zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

480:ba:x:1002:1002::/home/zhangy:/bin/bash

558:@zhangying:*:1004:1004::/home/test:/bin/bash

n,多文件匹配时,在匹配的行前面加上文件名

复制代码

代码如下:

[apacheuser@krlcgcms01 test]$ grep -H 'root' test test2 testbak

test:root:x:0:0:root:/root:/bin/bash

test2:root

testbak:root:x:0:0:root:/root:/bin/bash

o,多文件匹配时,在匹配的行前面不加上文件名

复制代码

代码如下:

[apacheuser@krlcgcms01 test]$ grep -h 'root' test test2 testbak

root:x:0:0:root:/root:/bin/bash

root

root:x:0:0:root:/root:/bin/bash

p,多文件匹配时,显示匹配文件的文件名

复制代码

代码如下:

[apacheuser@krlcgcms01 test]$ grep -l 'root' test test2 testbak DAta

test

test2

testbak

q,没有-o时,有一行匹配,这一行里面有3个root,加上-o后,这个3个root就出来了

复制代码

代码如下:

[apacheuser@krlcgcms01 test]$ grep 'root' test

root:x:0:0:root:/root:/bin/bash

[apacheuser@krlcgcms01 test]$ grep -o 'root' test

root

root

root

r,递归显示匹配的内容,在test目录下面建个mytest目录,copy test目录下面的test文件到mytest下面,能看到上面的结果

复制代码

代码如下:

[root@krlcgcms01 test]# grep test -R /tmp/test/mytest

/tmp/test/mytest/test:test:x:1003:1003::/home/test:/bin/bash

/tmp/test/mytest/test:@zhangying:*:1004:1004::/home/test:/bin/bash

s,显示匹配root后面的3行

复制代码

代码如下:

[root@krlcgcms01 test]# cat test |grep -A 3 root

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa

daemon:x:2:2:daemon:/sbin:/bin/false

mail:x:8:12:mail:/var/spool/mail:/bin/false

fgrep

用法: fgrep [选项]... PATTERN [FILE]...

在每个 FILE 或是标准输入中查找 PATTERN。

PATTERN 是一组由断行符分隔的定长字符串。

例如: fgrep -i 'hello world' menu.h main.c

正则表达式选择与解释:

-e, --regexp=PATTERN 用 PATTERN 来进行匹配操作

-f, --file=FILE 从 FILE 中取得 PATTERN

-i, --ignore-case 忽略大小写

-w, --word-regexp 强制 PATTERN 仅完全匹配字词

-x, --line-regexp 强制 PATTERN 仅完全匹配一行

-z, --null-data 一个 0 字节的数据行,但不是空行

杂项:

-s, --no-messages 不显示错误信息

-v, --invert-match 选中不匹配的行

-V, --version 显示版本信息并退出

--help 显示此帮助并退出

--mmap 忽略向后兼容性

Output control:

-m, --max-count=NUM 匹配的最大数

-b, --byte-offset 打印匹配行前面打印该行所在的块号码

-n, --line-number 显示的加上匹配所在的行号

--line-buffered 刷新输出每一行

-H, --with-filename 当搜索多个文件时,显示匹配文件名前缀

-h, --no-filename 当搜索多个文件时,不显示匹配文件名前缀

--label=LABEL use LABEL as the standard input file name prefix

-o, --only-matching 只显示一行中匹配PATTERN 的部分

-q, --quiet, --silent 不显示所有输出

--binary-files=TYPE 假定二进制文件的TYPE 类型;

TYPE 可以是`binary', `text', 或`without-match'

-a, --text 等同于 --binary-files=text

-I 等同于 --binary-files=without-match

-d, --directories=ACTION 操作目录的方式;

ACTION 可以是`read', `recurse',或`skip'

-D, --devices=ACTION 操作设备、先入先出队列、套接字的方式;

ACTION 可以是`read'或`skip'

-R, -r, --recursive 等同于 --directories=recurse

--include=FILE_PATTERN 只查找匹配FILE_PATTERN 的文件

--exclude=FILE_PATTERN 跳过匹配FILE_PATTERN 的文件和目录

--exclude-from=FILE 跳过所有除FILE 以外的文件

--exclude-dir=PATTERN 跳过所有匹配PATTERN 的目录。

-L, --files-without-match 只打印不匹配FILEs 的文件名

-l, --files-with-matches 只打印匹配FILES 的文件名

-c, --count 只打印每个FILE 中的匹配行数目

-T, --initial-tab 行首tabs 分隔(如有必要)

-Z, --null 在FILE 文件最后打印空字符

文件控制:

-B, --before-context=NUM 打印以文本起始的NUM 行

-A, --after-context=NUM 打印以文本结尾的NUM 行

-C, --context=NUM 打印输出文本NUM 行

-NUM 等同于 --context=NUM

--color[=WHEN],

--colour[=WHEN] 使用标志高亮匹配字串;

WHEN 可以是`always', `never'或`auto'

-U, --binary 不要清除行尾的CR 字符(MSDOS 模式)

-u, --unix-byte-offsets 当CR 字符不存在,报告字节偏移(MSDOS 模式)

‘fgrep’已不再使用了;请用 ‘grep -F’代替。

不带 FILE 参数,或是 FILE 为 -,将读取标准输入。如果少于两个 FILE 参数

就要默认使用 -h 参数。如果选中任意一行,那退出状态为 0,否则为 1;

如果有错误产生,且未指定 -q 参数,那退出状态为 2。

例:

复制代码

代码如下:

[root@linux test]# cat abc.sh |fgrep a #匹配含有a的

看了“Linux文本匹配命令grep与fgrep使用全解”还想看:

1. linux grep命令详解

2. 全面解析Linux的grep命令中正则表达式的用法

3. Linux下如何使用grep命令搜索多个单词

4. 开发人员常用什么linux命令

Linux系统基础操作指令

摘要:Linux指令常用结构 :Command [-option] [argument]

Command:即是要运行的命令的本身,说白了就是一个程序;

Option:是选项(可选),选项是控制命令运行状态和行为的(可多个选项一起,如ls -al);

Argument:是参数(可选),是命令要操作对象如文件、路径、数据、目录等;

在指令的第一部分按[tab]键一下为[命令补全],两下为所有命令选择;

一、 Linux系统操作指令

1、开关机

2、查看系统信息

3、查看系统性能

4、查看磁盘指标

二、 Linux目录文件操作指令

1、目录文件

2、文件相关权限

3、文本处理

三、Linux用户权限操作指令

四、Linux压缩解压指令

五、Linux软件安装指令

文本处理|专项】Linux数据文本处理工具(3)'>【shell笔记>文本处理|专项】Linux数据文本处理工具(3)

sed 命令从文本或者标准输入中每次读入一行数据。

我们先从简单的实例出发,看下该命令怎么将一列中的 chrm12 , chrom2 等转换成 chr12 , chr2 的格式。

虽然示例文件处理仅仅只有三行,但我们可以将这种处理方式运用到上G甚至更大的数据文件中,而不用打开整个文件进行处理。并且,可以借助重导向实现对数据处理结果的输出。

sed 替换命令采用的格式是

sed 会自动搜索符合 pattern 的字符串,然后修改为 replacement (我们想要修改后的样子)。一般默认 sed 只替换第一个匹配的 pattern ,我们可以通过添加全局标识 g 将其应用到数据的所有行中。

如果我们想要忽略匹配的大小写,使用 i 标识

默认 sed 命令支持基本的POSIX正则表达式(BRE),可以通过 -E 选项进行拓展(ERE)。很多的Linux命令都这种方式,像常用的 grep 命令。

再看一个实例,如果我们想把 chr1:28647389-28659480 这样格式的文字转换为三列,可以使用:

我们聚焦在第二个命令 sed 上。初看杂乱无章,但是从最大的结构看依旧是

先看 pattern 部分,这是由几个简单正则表达式组成的复合体,几个 () 括起来的字符串可以单独看。第一个匹配 chr 加上一个非冒号的字符,第二个和第三个都是匹配多个数字。最开始的 ^ 表示以 chr 起始(前面没有字符),各个括号中间的是对应的字符。整体的 pattern 的目的就是为了找到文本中符合这种模式的字符串,如果只是想把这个模式找出来的话,几个括号可以不用加。显然这几个括号的作用就是将它们划分成多个域,帮助 sed 进行处理。可以看到 replacement 部分存在 \1 , \2 , \3 ,它恰好对应 () 的顺序。这样我们在中间插入 \t 制表符,就可以完成我们想要的功能:将原字符串转换为三列。

我本身对字符串并不是非常熟悉,懂一些元字符,可能讲解的不是很到位。不熟悉正则表达式的朋友,可以学习和参考下 学习正则表达式 ,是我从Github上Copy到的非常好的学习资料,有兴趣也可以Fork学习。

上山的路总是有很多条,我们下面看下其他实现该功能的办法:

这三种方式看起来都非常简单有效。它处理字符串的思路不是从匹配pattern然后替换入手,不对,应该说是不是从匹配所有pattern然后替换入手。处理的关键是只处理字符串中看似无用的连字符 : 与 - ,将其替换成制表符从而轻松完成分割。

sed 's/:/\t/' | sed 's/-/\t/' 可以通过 -e 选项写为 sed -e 's/:/\t/' -e 's/-/\t/' ,效果等价。

默认 sed 命令支持基本的POSIX正则表达式(BRE),可以通过 -E 选项进行拓展(ERE)。很多的Linux命令都这种方式,像常用的 grep 命令。

再看一个实例,如果我们想把 chr1:28647389-28659480 这样格式的文字转换为三列,可以使用:

我们聚焦在第二个命令 sed 上。初看杂乱无章,但是从最大的结构看依旧是

先看 pattern 部分,这是由几个简单正则表达式组成的复合体,几个 () 括起来的字符串可以单独看。第一个匹配 chr 加上一个非冒号的字符,第二个和第三个都是匹配多个数字。最开始的 ^ 表示以 chr 起始(前面没有字符),各个括号中间的是对应的字符。整体的 pattern 的目的就是为了找到文本中符合这种模式的字符串,如果只是想把这个模式找出来的话,几个括号可以不用加。显然这几个括号的作用就是将它们划分成多个域,帮助 sed 进行处理。可以看到 replacement 部分存在 \1 , \2 , \3 ,它恰好对应 () 的顺序。这样我们在中间插入 \t 制表符,就可以完成我们想要的功能:将原字符串转换为三列。

我本身对字符串并不是非常熟悉,懂一些元字符,可能讲解的不是很到位。不熟悉正则表达式的朋友,可以学习和参考下 学习正则表达式 ,是我从Github上Copy到的非常好的学习资料,有兴趣也可以Fork学习。

上山的路总是有很多条,我们下面看下其他实现该功能的办法:

这三种方式看起来都非常简单有效。它处理字符串的思路不是从匹配pattern然后替换入手,不对,应该说是不是从匹配所有pattern然后替换入手。处理的关键是只处理字符串中看似无用的连字符 : 与 - ,将其替换成制表符从而轻松完成分割。

sed 's/:/\t/' | sed 's/-/\t/' 可以通过 -e 选项写为 sed -e 's/:/\t/' -e 's/-/\t/' ,效果等价。

默认, sed 会输出每一行的结果,用 replacement 替换 pattern ,但实际中我们可能会因此得到不想要的结果。比如下面的这个例子。

如果我们想要抓出 gtf 文件第九列的转录名,可能会使用以下命令

我们可以发现一些没有转录名行的结果是输出整行,这可不是我们想要的。一种解决办法是在使用 sed 之前先抓出有 transcript_id 的行。其实 sed 命令本身也可以通过选项和参数设定解决这个问题,这里我们可以用 -n 选项关闭 sed 输出所有行,在最末的 / 后加 p 只输出匹配项。

注意方括号内 ^ 是非(取反)的意思。

解释如下:

+ 号的使用是一种非贪婪的方法。很多新手会用 * ,这是贪婪操作,往往会得不偿失,需要注意喔。

使用 * 时它会尽量多地去匹配符合要求的模式。

我们也可以用 sed 命令来获取特定范围的行,比如说我要取出头10行,可以使用

20到50行

当然 sed 的功能特性远远不止这些,有待于大家更多地挖掘。不过需要注意的是,尽量让工具干它最擅长的事情。如果是复杂地大规模计算,还是最好写个Python脚本。

首先需要记住 连续 命令和 管道 命令的区别:前者是简单地一个一个按顺序运行程序(一般用 或者 ; );后者前一个程序的输出结果会直接传到下一个命令程序的输入中(这不就是流程化操作么,用 | 分隔)。

子shell可以让我们在一个独立的shell进程中执行连续命令。

首先看个例子

发现仅仅加了个括号,结果就不同了。第二个命令就用了子shell,它把两个 echo 命令放进单独的空间执行后将结果传给下游。

子shell在对 gtf 文件进行操作时有个非常有意思有用的用处。我们如果想对 gtf 文件排序,但是又想要保留文件头部注释信息,我们就能够用两次 grep 操作分别抓出注释和非注释信息,然后又把它结合在一起。下面看看效果,用 less 进行检查:

可以看到,子shell确实能够给我们提供非常有用的操作去组合命令实现想要的功能。

很多生信命令行工具需要提供多个输入和输出参数,这用在管道命令里可能会导致非常低效的情形(管道只接受一个标准输入和输出)。幸好,我们可以使用命令管道来解决此类问题。

命名管道 ,也成为FIFO(先入先出,额,这不是队列么:smile:)。它是一个特殊的排序文件,命名管道有点像文件,它可以永久保留在你的文件系统上(估计本质就是文件吧~)。

我们用 mkfifo 来生成它

可以它看它权限的第一个字符是p,指代是pipe。说明是个特殊文件。

我们像文件一样对它进行一些操作

比如当使用一个生信命令行工具

in1.fq in2.fq 就可以上游输出数据到 processing_tool 的命名管道;同理 out1.fq out2.fq 可以是命名管道用来写进输出数据。

但这样我们每次都得不停地创建和删除这些文件,解决办法是使用匿名管道,也叫进程替换。

不能光说,看看例子就知道和理解了。

echo 命令运行后使用了进程替换,产生匿名文件,然后匿名文件被重导向 cat 命令。

把它用到工具上,就变成了(假定上游zcat下游执行grep命令)

关于Linux数据处理工具内容全部整理发布在我的博客上。 详情点击


标题名称:linux中文本处理命令 linux 文本编辑命令
URL标题:http://chengdu.cdxwcx.cn/article/docpide.html