克隆网站后台百度一键优化

克隆网站后台,百度一键优化,关于继续做好网站建设得通知,注册安全工程师注册管理系统日志统计与分析指南 目录 1. 多文件查找2. 查找日志的常用方法3. 统计日志内容4. 高级功能5. 实用脚本示例 1. 多文件查找 1.1 查找普通日志文件#xff08;.log#xff09; # 查找当前目录及子目录下所有 .log 文件 find . -name *.log# 查找指定目录下的 .…日志统计与分析指南目录1. 多文件查找2. 查找日志的常用方法3. 统计日志内容4. 高级功能5. 实用脚本示例1. 多文件查找1.1 查找普通日志文件.log# 查找当前目录及子目录下所有 .log 文件find.-name*.log# 查找指定目录下的 .log 文件find/var/log -name*.log# 查找最近修改的日志文件find.-name*.log-mtime -1# 最近1天find.-name*.log-mtime -7# 最近7天1.2 查找压缩日志文件# 查找 .gz 压缩文件find.-name*.log.gzfind.-name*.gz# 查找 .zip 压缩文件find.-name*.log.zipfind.-name*.zip# 查找多种压缩格式find.\(-name*.log.gz-o -name*.log.zip-o -name*.log.bz2\)# 查找所有压缩文件包括 .gz, .zip, .bz2, .xzfind.-type f\(-name*.gz-o -name*.zip-o -name*.bz2-o -name*.xz\)1.3 同时查找普通和压缩日志文件# 方法1使用 -o 选项find.\(-name*.log-o -name*.log.gz-o -name*.log.zip\)# 方法2使用正则表达式需要 -regex 选项find.-regex.*\.log\(\.gz\|\.zip\)\?$# 方法3分别查找后合并find.-name*.log-o -name*.log.*|grep-E\.(log|gz|zip|bz2)$1.4 按时间范围查找日志文件# 查找今天修改的文件find.-name*.log*-mtime0# 查找最近3天的文件find.-name*.log*-mtime -3# 查找指定日期范围的文件需要结合 stat 或 lsfind.-name*.log*-newermt2025-01-01!-newermt2025-01-312. 查找日志的常用方法2.1 grep - 最常用的文本搜索工具grep 常用选项表格选项说明示例-i忽略大小写grep -i error app.log-n显示匹配行的行号grep -n ERROR app.log-v反向匹配显示不包含关键字的行grep -v INFO app.log-c统计匹配的行数grep -c ERROR app.log-l只显示匹配的文件名grep -l ERROR *.log-L只显示不匹配的文件名grep -L ERROR *.log-r或-R递归搜索目录grep -r ERROR /var/log/-E使用扩展正则表达式grep -E ERROR|WARN app.log-F将模式视为固定字符串不使用正则grep -F ERROR app.log-A n显示匹配行及其后 n 行grep -A 3 ERROR app.log-B n显示匹配行及其前 n 行grep -B 3 ERROR app.log-C n显示匹配行及其前后各 n 行grep -C 3 ERROR app.log-o只显示匹配的部分而不是整行grep -o ERROR app.log-h不显示文件名前缀多文件搜索时grep -h ERROR *.log-H显示文件名前缀默认行为grep -H ERROR app.log-w匹配整个单词grep -w error app.log-x匹配整行grep -x ERROR app.log-q静默模式不输出结果用于脚本判断grep -q ERROR app.log echo Found-s抑制错误消息grep -s ERROR app.log--color高亮显示匹配的文本grep --coloralways ERROR app.log-m n最多匹配 n 行后停止grep -m 10 ERROR app.log-f file从文件中读取模式grep -f patterns.txt app.log-e pattern指定多个模式grep -e ERROR -e WARN app.log使用示例# 基本搜索grepERRORapp.log# 忽略大小写grep-ierrorapp.log# 显示行号grep-nERRORapp.log# 显示匹配行的上下文前后各3行grep-C3ERRORapp.loggrep-B3ERRORapp.log# 只显示前3行grep-A3ERRORapp.log# 只显示后3行# 反向匹配显示不包含关键字的行grep-vINFOapp.log# 使用正则表达式grep-EERROR|WARNapp.loggrep-E[0-9]{4}-[0-9]{2}-[0-9]{2}app.log# 匹配日期格式# 在多个文件中搜索grepERROR*.loggrep-rERROR/var/log/# 递归搜索目录# 只显示匹配的文件名grep-lERROR*.log# 统计匹配的行数grep-cERRORapp.log# 只显示匹配的部分grep-oERRORapp.log|wc-l# 统计关键字出现次数# 匹配整个单词grep-werrorapp.log# 不会匹配 errors 或 ErrorCode# 高亮显示匹配文本grep--coloralwaysERRORapp.log# 组合使用多个选项grep-rn --coloralwaysERROR/var/log/# 递归搜索、显示行号、高亮显示2.2 在压缩文件中搜索# 在 .gz 文件中搜索zcat 或 zgrepzgrepERRORapp.log.gz zcat app.log.gz|grepERROR# 在 .bz2 文件中搜索bzgrepERRORapp.log.bz2 bzcat app.log.bz2|grepERROR# 在 .xz 文件中搜索xzgrepERRORapp.log.xz xzcat app.log.xz|grepERROR# 在 .zip 文件中搜索unzip-p app.log.zip|grepERROR# 在多个压缩文件中搜索zgrepERROR*.log.gz2.3 多文件同时搜索# 在多个普通日志文件中搜索grepERRORapp.log app2.log app3.log# 在普通文件和压缩文件中同时搜索grepERROR*.logzgrepERROR*.log.gz# 使用 find xargs 在多个文件中搜索find.-name*.log*-type f|xargsgrepERROR# 处理包含空格的文件名find.-name*.log*-type f -print0|xargs-0grepERROR2.4 按时间范围搜索# 搜索指定时间段的日志假设日志格式包含时间戳grep2025-01-15app.log|grepERROR# 搜索时间范围需要日志格式支持awk/2025-01-15 10:00:00/,/2025-01-15 11:00:00/app.log# 使用 sed 提取时间范围sed-n/2025-01-15 10:00:00/,/2025-01-15 11:00:00/papp.log2.5 高级搜索技巧# 组合多个条件ANDgrepERRORapp.log|grepPmsService# 组合多个条件ORgrep-EERROR|WARN|FATALapp.log# 排除某些行grepERRORapp.log|grep-vDEBUG# 使用管道链catapp.log|grepERROR|grepPmsService|head-20# 实时监控日志tail greptail-f app.log|grepERROR3. 统计日志内容3.1 统计行数# 统计文件总行数wc-l app.log# 统计多个文件的行数wc-l *.log# 统计匹配关键字的行数grep-cERRORapp.log# 统计多个文件中匹配的行数grep-cERROR*.log# 统计压缩文件的行数zcat app.log.gz|wc-l3.2 统计关键字出现次数# 统计单个关键字出现次数grep-oERRORapp.log|wc-l# 统计多个关键字出现次数grep-oEERROR|WARN|FATALapp.log|sort|uniq-c# 统计每个关键字的出现次数并排序grep-oEERROR|WARN|FATALapp.log|sort|uniq-c|sort-rn# 统计所有唯一关键字的出现次数grep-oEERROR|WARN|FATALapp.log|sort|uniq-c3.3 统计关键字频率Top N# 统计出现频率最高的10个关键字grep-oEERROR|WARN|FATALapp.log|sort|uniq-c|sort-rn|head-10# 统计所有单词的频率Top 20catapp.log|tr-s \n|sort|uniq-c|sort-rn|head-20# 统计特定模式的频率如类名、方法名grep-oE\[PmsService\]|\[CouponService\]app.log|sort|uniq-c|sort-rn3.4 按时间统计# 统计每小时错误数量假设日志格式yyyy-MM-dd HH:mm:ssgrepERRORapp.log|awk{print$1 $2}|cut-d: -f1|sort|uniq-c# 统计每天的日志行数awk{print$1}app.log|sort|uniq-c# 统计每分钟的请求数需要根据实际日志格式调整awk{print substr($0,1,16)}app.log|sort|uniq-c3.5 统计文件大小# 查看文件大小ls-lh app.log# 查看多个文件的总大小du-ch *.log# 查看压缩文件大小ls-lh *.log.gz# 查看目录下所有日志文件的总大小du-sh /var/log/3.6 统计唯一值# 统计唯一的错误类型grepERRORapp.log|awk-FERROR{print$2}|sort|uniq# 统计唯一的用户ID假设日志中包含用户IDgrep-oEuserId:[0-9]app.log|sort|uniq# 统计唯一的IP地址grep-oE[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}app.log|sort|uniq4. 高级功能4.1 日志聚合分析# 合并多个日志文件并排序cat*.log|sort# 合并并去重cat*.log|sort|uniq# 合并压缩文件zcat *.log.gz|sort4.2 提取特定字段# 使用 awk 提取特定列awk{print$1,$2,$5}app.log# 提取第1、2、5列# 提取 JSON 格式日志中的特定字段需要 jqcatapp.log|jq.level, .message# 提取时间戳和错误信息grepERRORapp.log|awk{print$1 $2 $NF}4.3 日志格式化输出# 美化 JSON 日志需要 jqcatapp.log|jq.# 格式化时间戳awk{print strftime(%Y-%m-%d %H:%M:%S,$1)}app.log# 添加行号cat-n app.log4.4 日志对比分析# 对比两个日志文件的差异diffapp.log app2.log# 对比并显示上下文diff-u app.log app2.log# 找出只在文件1中存在的行comm-23(sortapp.log)(sortapp2.log)# 找出两个文件共有的行comm-12(sortapp.log)(sortapp2.log)4.5 性能分析# 统计接口响应时间假设日志包含耗时信息grep-oE耗时 [0-9] msapp.log|grep-oE[0-9]|awk{sum$1; count} END {print 平均耗时:, sum/count, ms}# 找出最慢的10个请求grep-oE耗时 [0-9] msapp.log|grep-oE[0-9]|sort-rn|head-10# 统计耗时分布grep-oE耗时 [0-9] msapp.log|grep-oE[0-9]|awk{if($1100) a; else if($1500) b; else c} END {print 0-100ms:, a, 100-500ms:, b, 500ms:, c}4.6 错误分析# 提取错误堆栈awk/ERROR/,/^[[:space:]]*$/app.log# 统计异常类型grep-oEException: [a-zA-Z.]app.log|sort|uniq-c|sort-rn# 找出最常见的错误消息grepERRORapp.log|awk-FERROR{print$2}|sort|uniq-c|sort-rn|head-104.7 实时监控# 实时监控日志文件tail-f app.log# 实时监控并过滤tail-f app.log|grepERROR# 监控多个日志文件tail-f app.log app2.log# 实时监控并高亮关键字tail-f app.log|grep--coloralways -EERROR|WARN|FATAL4.8 日志采样# 每10行采样1行awkNR % 10 0app.log# 随机采样1000行shuf-n1000app.log# 采样前1000行和后1000行head-1000 app.logtail-1000 app.log5. 实用脚本示例5.1 统计所有日志文件中的错误数量#!/bin/bash# 统计所有日志文件包括压缩文件中的错误数量LOG_DIR/var/logKEYWORDERRORecho正在统计$LOG_DIR目录下的错误日志...# 统计普通日志文件forfilein$(find$LOG_DIR -name*.log-type f);docount$(grep-c$KEYWORD$file2/dev/null||echo0)echo$file:$countdone# 统计压缩日志文件forfilein$(find$LOG_DIR -name*.log.gz-type f);docount$(zgrep -c$KEYWORD$file2/dev/null||echo0)echo$file:$countdone5.2 按日期统计日志#!/bin/bash# 按日期统计日志行数LOG_FILEapp.logecho日期统计awk{print$1}$LOG_FILE|sort|uniq-c|sort-rn5.3 提取错误日志到单独文件#!/bin/bash# 从多个日志文件中提取错误日志OUTPUT_FILEerrors.logKEYWORDERROR$OUTPUT_FILE# 清空输出文件# 处理普通日志文件forfilein*.log;doif[-f$file];thenecho处理文件:$filegrep$KEYWORD$file$OUTPUT_FILEfidone# 处理压缩日志文件forfilein*.log.gz;doif[-f$file];thenecho处理文件:$filezgrep$KEYWORD$file$OUTPUT_FILEfidoneecho错误日志已保存到:$OUTPUT_FILE5.4 分析日志中的慢请求#!/bin/bash# 分析日志中的慢请求假设日志包含耗时信息LOG_FILEapp.logTHRESHOLD1000# 阈值1000msecho查找耗时超过${THRESHOLD}ms 的请求grep-E耗时 [0-9] ms$LOG_FILE|\grep-oE耗时 [0-9] ms|\grep-oE[0-9]|\awk-vthreshold$THRESHOLD$1 threshold {print$1 ms}|\sort-rn|head-205.5 统计日志文件大小和行数#!/bin/bash# 统计所有日志文件的大小和行数echo文件大小 | 行数 | 文件名echo----------------------------------------forfilein$(find.-name*.log*-type f);doif[[$file*.gz]];thensize$(du-h$file|cut-f1)lines$(zcat$file2/dev/null|wc-l)elif[[$file*.bz2]];thensize$(du-h$file|cut-f1)lines$(bzcat$file2/dev/null|wc-l)elsesize$(du-h$file|cut-f1)lines$(wc-l$file)fiprintf%-10s | %-8s | %s\n$size$lines$filedone5.6 一键日志分析报告#!/bin/bash# 生成日志分析报告LOG_FILE${1:-app.log}REPORT_FILElog_report_$(date%Y%m%d_%H%M%S).txt{echoecho日志分析报告echo生成时间:$(date)echo日志文件:$LOG_FILEechoechoecho1. 基本信息echo----------------------------------------echo总行数:$(wc-l$LOG_FILE)echo文件大小:$(du-h $LOG_FILE|cut-f1)echoecho2. 错误统计echo----------------------------------------echoERROR 数量:$(grep-cERROR$LOG_FILE2/dev/null||echo0)echoWARN 数量:$(grep-cWARN$LOG_FILE2/dev/null||echo0)echoFATAL 数量:$(grep-cFATAL$LOG_FILE2/dev/null||echo0)echoecho3. Top 10 错误消息echo----------------------------------------grepERROR$LOG_FILE|awk-FERROR{print$2}|sort|uniq-c|sort-rn|head-10echoecho4. 时间分布按小时echo----------------------------------------awk{print$2}$LOG_FILE|cut-d: -f1|sort|uniq-cecho}$REPORT_FILEecho报告已生成:$REPORT_FILEcat$REPORT_FILE5.7 使用说明# 给脚本添加执行权限chmodx script_name.sh# 运行脚本./script_name.sh# 或者直接使用 bash 运行bashscript_name.sh6. 常用工具推荐6.1 命令行工具grep: 文本搜索已内置awk: 文本处理已内置sed: 流编辑器已内置jq: JSON 处理工具需要安装rg (ripgrep): 更快的 grep 替代品需要安装ag (The Silver Searcher): 代码搜索工具需要安装6.2 安装额外工具# macOSbrewinstalljq ripgrep the_silver_searcher# Ubuntu/Debiansudoapt-getinstalljq ripgrep silversearcher-ag# CentOS/RHELsudoyuminstalljq epel-releasesudoyuminstallripgrep the_silver_searcher6.3 使用 ripgrep (rg) 的优势# rg 比 grep 更快且默认递归搜索rgERROR.# 递归搜索当前目录rgERROR--type log# 只搜索日志文件rgERROR-g*.log# 使用 glob 模式rgERROR-g*.log.gz# 搜索压缩文件需要配合其他工具7. 最佳实践7.1 日志文件管理定期清理旧日志文件使用日志轮转logrotate压缩历史日志以节省空间设置日志保留策略7.2 搜索优化使用grep -E进行正则匹配时尽量使用具体模式大文件搜索时先使用head或tail缩小范围压缩文件搜索时优先使用zgrep等专用工具7.3 性能考虑大文件处理时考虑使用split分割文件使用parallel工具并行处理多个文件对于超大数据集考虑使用专门的日志分析工具如 ELK Stack8. 快速参考8.1 常用命令速查需求命令查找所有日志文件find . -name *.log*搜索关键字grep ERROR app.log统计行数wc -l app.log统计关键字数量grep -c ERROR app.log实时监控tail -f app.log | grep ERROR搜索压缩文件zgrep ERROR app.log.gz提取时间范围sed -n /start/,/end/p app.log统计频率grep -o ERROR app.log | sort | uniq -c8.2 常用组合命令# 查找 搜索 统计find.-name*.log-execgrep-cERROR{}\;# 搜索 排序 去重 统计grepERRORapp.log|sort|uniq-c|sort-rn# 提取 格式化 输出grepERRORapp.log|awk{print$1,$2,$NF}errors.txt提示: 根据实际日志格式调整命令中的字段分隔符和模式匹配规则。