Linux: 文本处理三剑客——awk / sed / cut

cat data.csv | cut -d',' -f2,5 | sed '/^$/d' | tr ',' '\t' > output.tsv

# 按分隔符切
cut -d',' -f1,3 file.csv    # 以逗号分隔，取第 1、3 列
cut -d: -f1 /etc/passwd     # 以冒号分隔，取用户名

> ℹ️ **说明**：`cut` 适合简单的列提取（固定分隔符、固定列号），但对于需要条件筛选、计算、格式化的场景，应该用 `awk`。例如 `awk -F: '$3 >= 1000 {print $1}' /etc/passwd` 能筛选 UID≥1000 的用户，`cut` 做不到。

# 按字符位置切
cut -c1-5 file.txt          # 取第 1-5 个字符
cut -c1,3,5 file.txt        # 取第 1、3、5 个字符

awk '模式 {动作}' 文件

# 基础用法
awk '{print $1}' file.txt           # 打印第 1 列
awk '{print $1, $3}' file.txt       # 打印第 1、3 列
awk '{print NR, $0}' file.txt       # 打印行号和整行
awk '{print $NF}' file.txt           # 打印最后一列
awk -F: '{print $1}' /etc/passwd    # 指定分隔符为 :

# 模式匹配
awk '/error/ {print}' log.txt       # 只处理包含 error 的行
awk '$3 > 100 {print $1, $3}' data.txt  # 第 3 列 > 100 才输出

# 统计运算
awk '{sum += $1} END {print sum}' numbers.txt  # 求和
awk '{count++} END {print count}' file.txt     # 计数

# 替换
sed 's/old/new/' file.txt          # 每行第一个 old → new
sed 's/old/new/g' file.txt         # 全局替换
sed 's/old/new/2' file.txt         # 只替换每行第 2 个
sed 's/old/new/g' file.txt > new.txt  # 输出到新文件
sed -i 's/old/new/g' file.txt     # 原地编辑（直接修改文件）
sed -i.bak 's/old/new/g' file.txt # 备份原文件为 file.txt.bak

> 💡 **提示**：`sed -i` 会原地修改文件，没有撤销机会。建议先用 `sed 's/old/new/g' file.txt` 不加 `-i` 预览替换结果，确认无误后再加 `-i`。或者使用 `sed -i.bak` 自动创建备份文件。

# 删除
sed '/pattern/d' file.txt          # 删除匹配 pattern 的行
sed '3d' file.txt                  # 删除第 3 行
sed '5,10d' file.txt               # 删除第 5-10 行
sed '/^$/d' file.txt               # 删除空行

# 打印
sed -n '5,10p' file.txt            # 只打印第 5-10 行
sed -n '/pattern/p' file.txt       # 只打印匹配行

# 大小写转换
echo "hello" | tr 'a-z' 'A-Z'      # HELLO
cat file.txt | tr '[:lower:]' '[:upper:]'

# 替换和删除
echo "a,b,c" | tr ',' ' '          # a b c
echo "hello   world" | tr -s ' '   # hello world（压缩重复空格）
echo "hello123" | tr -d '0-9'      # hello（删除数字）
echo "abc123" | tr -d '[:digit:]'  # abc（删除数字）

# 换行符转换（Windows ↔ Unix）
tr -d '\r' < win.txt > unix.txt    # 删除 Windows 换行符的 \r
tr '\n' ',' < list.txt             # 将换行替换为逗号

diff file1.txt file2.txt           # 基本对比
diff -u file1.txt file2.txt        # unified 格式（更易读）
diff -i file1.txt file2.txt        # 忽略大小写
diff -w file1.txt file2.txt        # 忽略空白差异
diff -r dir1/ dir2/                # 递归对比目录

# 提取 /etc/passwd 的用户名和 Shell
cut -d: -f1,7 /etc/passwd | head -5
# root:/bin/bash
# daemon:/usr/sbin/nologin
# bin:/usr/sbin/nologin

# 取 ls -l 输出的第 5 列（文件大小）
ls -la | tr -s ' ' | cut -d' ' -f5 | head -5

# 打印用户名和家目录
awk -F: '{print $1, "家目录:", $6}' /etc/passwd | head -5

# 查找 UID 大于 1000 的普通用户
awk -F: '$3 >= 1000 {print $1, "(UID:" $3 ")"}' /etc/passwd

# 计算文件总大小
ls -la | grep "^-" | awk '{sum += $5} END {print "总大小:", sum/1024/1024, "MB"}'

# 格式化输出（printf）
ls -la | awk '{printf "%-20s %8s\n", $9, $5}'

# 将文件中的 localhost 替换为 127.0.0.1
sed -i 's/localhost/127.0.0.1/g' config.txt

# 注释掉配置文件中 listen 开头的行
sed -i '/^listen/s/^/#/' nginx.conf

# 在文件第 2 行后插入新行
sed '2a\新插入的行' file.txt

# 提取日志中的时间戳
sed -n 's/.*\[\(.*\)\].*/\1/p' access.log | head -5

# 统计文本中的单词数
cat file.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | head -10

# 将列表转换为一行（逗号分隔）
cat list.txt | tr '\n' ',' | sed 's/,$//'

# 删除配置文件中的所有注释和空行
grep -v "^#" config.txt | grep -v "^$" | tr -s '\n'

# 创建两个版本
echo -e "apple\nbanana\norange" > v1.txt
echo -e "apple\nblueberry\norange" > v2.txt

# 对比
diff -u v1.txt v2.txt
# --- v1.txt
# +++ v2.txt
# @@ -1,3 +1,3 @@
#  apple
# -banana
# +blueberry
#  orange

#!/bin/bash
# sys-report.sh - 生成系统监控报告

echo "========================================="
echo "        系统监控报告"
echo "        生成时间: $(date)"
echo "========================================="
echo ""

echo "1. CPU 负载最高的 5 个进程"
ps aux --sort=-%cpu | head -6 | awk '{printf "%-10s %-5s %-5s %s\n", $1, $2, $3, $11}'

echo ""
echo "2. 磁盘使用率"
df -h | grep "^/" | awk '{printf "%-20s %5s %5s %5s\n", $6, $2, $3, $5}'

echo ""
echo "3. 内存占用前 5"
ps aux --sort=-%mem | head -6 | awk '{printf "%-10s %-5s %-5s %s\n", $1, $2, $4, $11}'

echo ""
echo "4. /var/log 中错误数量"
grep -ric "error" /var/log/*.log 2>/dev/null | grep -v ":0" | head -10

echo ""
echo "5. 监听端口"
ss -tlnp | tail -n +2 | awk '{print $4, $1}' | sed 's/.*://'

echo ""
echo "========================================="