TB级大文件处理脚本 #!/bin/bash # 处理TB级别日志文件的技巧 process_huge_file() { local file=$1 local chunk_size=${2:-1000000} # 默认100万行一个块 echo "处理大文件: $file ($(du -h "$file" | awk '{print $1}'))" # 方法1: 分块处理 split -l "$chunk_size" "$file" "chunk_" for chunk in chunk_*; do echo "处理块: $chunk" # 并行处理每个块 { awk '{ # 你的处理逻辑 ip_count[$1]++ } END { for (ip in ip_count) { print ip, ip_count[ip] > "result_'$chunk'.txt" } }' "$chunk" rm "$chunk" # 处理完立即删除 } & # 控制并发数 (($(jobs -r | wc -l) >= 4)) && wait done wait # 等待所有后台任务完成 # 合并结果 echo "合并结果..." awk '{sum[$1] += $2} END { for (ip in sum) print ip, sum[ip] }' result_chunk_*.txt | sort -k2 -nr > final_result.txt rm result_chunk_*.txt } # 方法2: 流式处理 (内存占用最小) stream_process() { local file=$1 # 使用管道流式处理，内存占用恒定 cat "$file" | \ awk '{ # 每处理10万行输出一次中间结果 if (NR % 100000 == 0) { print "处理进度:", NR > "/dev/stderr" } # 你的处理逻辑 ip_count[$1]++ # 定期清理内存 (保留热点数据) if (NR % 1000000 == 0) { for (ip in ip_count) { if (ip_count[ip] < 10) delete ip_count[ip] } } } END { for (ip in ip_count) { print ip, ip_count[ip] } }' | sort -k2 -nr }

数据库连接问题排查脚本 #!/bin/bash # 数据库连接问题排查脚本 echo "=== 数据库连接分析 ===" # 分析应用日志中的数据库错误 echo "数据库连接错误统计:" grep -i "database\|mysql\|connection" /var/log/myapp/error.log | \ grep -E "(timeout|refused|failed|error)" | \ sed 's/.*\[\([0-9-]*\).*/\1/' | \ sort | uniq -c | \ awk '{printf "%s: %d次错误\n", $2, $1}' # 分析慢查询日志 echo "慢查询TOP 10:" if [ -f /var/log/mysql/slow.log ]; then grep "Query_time" /var/log/mysql/slow.log | \ awk '{print $3}' | \ sort -nr | head -10 | \ awk '{printf "查询时间: %.2f秒\n", $1}' fi # 检查连接池状态 echo "当前数据库连接数:" mysql -e "SHOW STATUS LIKE 'Threads_connected';" 2>/dev/null | \ awk 'NR==2 {print "活跃连接:", $2}'

分布式处理脚本 #!/bin/bash # 分布式日志处理脚本 SERVERS=("server1" "server2" "server3") LOG_FILE="/var/log/nginx/access.log" distribute_process() { local total_lines=$(wc -l < "$LOG_FILE") local lines_per_server=$((total_lines / ${#SERVERS[@]})) echo "总行数: $total_lines, 每台服务器处理: $lines_per_server 行" for i in "${!SERVERS[@]}"; do local server="${SERVERS[$i]}" local start_line=$((i * lines_per_server + 1)) local end_line=$(((i + 1) * lines_per_server)) echo "分发给 $server: 行 $start_line - $end_line" # 提取对应行数并发送到远程服务器处理 sed -n "${start_line},${end_line}p" "$LOG_FILE" | \ ssh "$server" " awk '{ip_count[\$1]++} END { for (ip in ip_count) print ip, ip_count[ip] }' > /tmp/result_$i.txt " & done wait # 收集结果 echo "收集结果..." for i in "${!SERVERS[@]}"; do scp "${SERVERS[$i]}:/tmp/result_$i.txt" "result_$i.txt" done # 合并最终结果 awk '{sum[$1] += $2} END { for (ip in sum) print ip, sum[ip] }' result_*.txt | sort -k2 -nr > distributed_result.txt rm result_*.txt }

性能问题排查脚本 #!/bin/bash # 性能问题排查脚本 echo "=== 性能分析报告 ===" # 慢请求分析 (假设nginx记录了响应时间) echo "响应时间 > 2秒的请求:" awk '$NF > 2.0 {print $1, $7, $NF"s"}' /var/log/nginx/access.log | \ sort -k3 -nr | head -20 # 大文件传输分析 echo "传输量 > 10MB的请求:" awk '$10 > 10485760 {printf "%s %s %.2fMB\n", $1, $7, $10/1024/1024}' \ /var/log/nginx/access.log | sort -k3 -nr # 并发分析 echo "每分钟请求数统计:" awk '{print substr($4, 2, 16)}' /var/log/nginx/access.log | \ sort | uniq -c | \ awk '{print $2, $1}' | \ sort -k1

实时日志监控告警脚本 #!/bin/bash # 实时日志监控告警脚本 LOG_FILE="/var/log/nginx/access.log" ERROR_THRESHOLD=50 # 每分钟错误数阈值 ALERT_EMAIL="admin@example.com" monitor_realtime() { echo "开始实时监控 $LOG_FILE..." # 创建临时文件记录状态 TEMP_DIR="/tmp/log_monitor" mkdir -p "$TEMP_DIR" tail -F "$LOG_FILE" | while read line; do # 提取时间戳 (分钟级别) timestamp=$(echo "$line" | awk '{print substr($4, 2, 16)}') current_minute=$(date '+%d/%b/%Y:%H:%M') # 检查是否是错误请求 if echo "$line" | grep -qE " (4[0-9]{2}|5[0-9]{2}) "; then error_file="$TEMP_DIR/errors_$current_minute" echo "$line" >> "$error_file" # 统计当前分钟的错误数 error_count=$(wc -l < "$error_file" 2>/dev/null || echo 0) if [ "$error_count" -ge "$ERROR_THRESHOLD" ]; then send_alert "$current_minute" "$error_count" "$error_file" # 重置计数器，避免重复告警 > "$error_file" fi fi # 清理旧的临时文件 find "$TEMP_DIR" -name "errors_*" -mmin +5 -delete done } send_alert() { local time_period=$1 local error_count=$2 local error_file=$3 echo "🚨 告警: $time_period 发生 $error_count 个错误请求" # 分析错误类型 echo "错误分析:" awk '{print $9, $1, $7}' "$error_file" | \ sort | uniq -c | sort -nr | head -5 | \ awk '{printf "状态码%s: %d次, IP:%s, URL:%s\n", $2, $1, $3, $4}' # 发送邮件告警 (需要配置sendmail) if command -v mail >/dev/null; then { echo "时间: $time_period" echo "错误数量: $error_count" echo "详细信息:" head -10 "$error_file" } | mail -s "网站错误告警" "$ALERT_EMAIL" fi } # 启动监控 monitor_realtime