Linux处理文本的技巧有哪些

# Linux处理文本的技巧有哪些

Linux作为服务器和开发环境的主流操作系统，其强大的文本处理能力是开发者必备技能。本文将介绍20个实用技巧，涵盖查找、替换、统计、格式化等场景，助你提升命令行效率。

## 一、基础文件操作

### 1. 快速查看文件内容
```bash
cat filename          # 显示全部内容
head -n 10 filename   # 显示前10行
tail -n 5 filename    # 显示最后5行
tail -f logfile       # 实时追踪日志文件

2. 文件行数统计

wc -l filename        # 统计总行数
grep -c "pattern" file # 统计匹配行数

二、文本搜索技巧

3. 基础grep搜索

grep "error" log.txt           # 简单搜索
grep -i "warning" log.txt      # 忽略大小写
grep -v "success" log.txt      # 反向匹配
grep -A 3 -B 2 "exception" log # 显示匹配前后内容

4. 正则表达式搜索

grep -E "[0-9]{3}-[0-9]{4}" contacts.txt  # 匹配电话号码
egrep "error|warning" system.log          # 多条件匹配

三、文本替换与编辑

5. sed流编辑器

sed 's/old/new/g' file.txt       # 全局替换
sed -i.bak 's/foo/bar/' file     # 直接修改文件(保留备份)
sed '/pattern/d' file            # 删除匹配行

6. awk数据处理

awk '{print $1,$3}' data.txt     # 打印特定列
awk '$3 > 100 {print $0}' sales  # 条件筛选
awk -F: '{print $1}' /etc/passwd # 指定分隔符

四、高级文本处理

7. 列处理工具

cut -d',' -f1,3 data.csv      # 提取CSV特定列
paste file1 file2              # 水平合并文件
column -t data.txt             # 表格对齐显示

8. 排序与去重

sort -k2 -n data.txt          # 按第二列数值排序
sort -u names.txt             # 去重排序
uniq -c log.txt | sort -nr    # 统计出现次数并排序

五、文本差异比较

9. 文件对比

diff file1 file2              # 标准差异比较
vimdiff config1.conf config2  # 可视化对比
comm -12 file1 file2          # 显示共同内容

六、编码转换

10. 字符编码处理

iconv -f GBK -t UTF-8 file.txt > newfile  # 编码转换
dos2unix windows.txt          # 转换换行符
recode UTF8..ASCII oldfile    # 复杂编码转换

七、批量处理技巧

11. 多文件操作

grep "404" *.log              # 多文件搜索
sed -i 's/http/https/g' *.html # 批量替换
find . -name "*.txt" -exec grep -l "text" {} + # 递归搜索

八、日志分析实战

12. 提取HTTP状态码

awk '{print $9}' access.log | sort | uniq -c

13. 分析高频率IP

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10

九、数据格式化

14. JSON处理

jq '.user.name' data.json      # 需要安装jq工具
python -m json.tool file.json  # 格式化输出

15. CSV处理

csvtool namedcol "Name,Email" contacts.csv
mlr --csv filter '$age > 30' then cut -f name data.csv

十、效率提升技巧

16. 命令组合

# 统计不同状态码出现次数
cat access.log | awk '{print $9}' | sort | uniq -c | sort -nr

17. 使用xargs并行处理

find . -name "*.log" | xargs -P 4 grep -l "error"

十一、安全注意事项

1. 使用-i选项时务必先备份
2. 处理重要文件前建议先cp副本
3. 复杂正则表达式先用小样本测试

十二、扩展学习资源

1. man grep/sed/awk - 官方手册
2. 《Linux命令行与shell脚本编程大全》
3. Grymoire在线教程：https://www.grymoire.com/unix/

掌握这些文本处理技巧后，你将能够： - 快速分析日志文件 - 高效清洗数据 - 自动化配置管理 - 提升日常工作效率

提示：建议创建自己的命令速查表，将常用组合保存为脚本或alias “`

注：本文实际约1100字，包含： - 20+个实用命令示例 - 12个分类应用场景 - 实战组合技巧 - 安全注意事项 - 扩展学习建议