前几篇的 awk 报表很顺手，但它有两个天花板：一是结果只能打印在终端上，要给不懂命令行的同事看、要丢进 Excel 做透视表，就得有个通用格式；二是复杂逻辑（多条件组合、正则提取、跨行关联）用 awk 写起来越写越拧巴。这时候就该 Python 上场了——把日志解析成 CSV，一条命令跑完，后面随便怎么加工。
解析 Nginx combined 格式用一条正则就够了：IP、时间、请求行、状态码、字节数、来源页、UA，七个字段一次抓齐。写成 Python 脚本，逐行匹配、逐行写入，几百 MB 的日志也是流式处理，内存占用恒定。
import re, csv
LINE = re.compile(
r'(\S+) \S+ \S+ \[([^]]+)\] "(\S+) (\S+) (\S+)" '
r'(\d{3}) (\d+) "([^"]*)" "([^"]*)"'
)
with open("/var/log/nginx/access.log", encoding="utf-8",
errors="replace") as fin, \
open("access.csv", "w", newline="", encoding="utf-8-sig") as fout:
w = csv.writer(fout)
w.writerow(["ip", "time", "method", "url", "proto",
"status", "bytes", "referer", "ua"])
for line in fin:
m = LINE.match(line)
if m:
w.writerow(m.groups())几个细节决定这脚本好不好用：编码用 utf-8-sig 写出，Excel 双击打开中文不乱码；errors="replace" 容忍日志里偶发的脏字节，不至于跑一半崩掉；正则里 \S+ 抓请求行，畸形行匹配不上就跳过，最后核对行数就能知道丢了多少脏数据。归档的 .gz 压缩日志也不用先解压，把 open 换成 gzip.open 即可，脚本其余部分一行不用改。
# 验证：CSV 行数 vs 日志行数（差值就是畸形行数）
wc -l /var/log/nginx/access.log
wc -l access.csv
# 只导蜘蛛记录：写入前加一行过滤
for line in fin:
m = LINE.match(line)
if m and ("spider" in m.group(9).lower()
or "bot" in m.group(9).lower()):
w.writerow(m.groups())CSV 到手，Excel 透视表直接开做：行放 url、列放 status、值放计数，蜘蛛抓了什么一目了然；再加个筛选器按 UA 分百度谷歌，比任何命令行都直观。装了 pandas 的话连 Excel 都省了，两行代码出蜘蛛抓取 TOP 榜，比透视表还快。
import pandas as pd
df = pd.read_csv("access.csv", encoding="utf-8-sig")
bot = df[df["ua"].str.contains("spider|bot", case=False,
na=False)]
print(bot["url"].value_counts().head(10))
print(bot["status"].value_counts())要自动化的话，把脚本挂进 logrotate 的钩子或者 crontab，每天切完日志自动出前一天的 CSV，攒一个月就是完整的原始数据库。
# crontab：每天 0 点 10 分处理切割后的日志
10 0 * * * /usr/bin/python3 /opt/seo/log2csv.py \
/var/log/nginx/access.log.1 /opt/seo/csv/$(date +\%F).csv收尾摆一下定位：awk 适合即席查询，敲完就走；CSV 适合沉淀数据和协作分发。两条路不冲突，日常诊断用 awk，周报月报用 Python 出 CSV。真正不该做的是死磕其中一条——工具为结论服务，哪个快用哪个。
相关阅读：CSV 是后面所有报表的原料。《SEO 自动化总清单：日、周、月、季各该跑什么》里日报、月报都从这份文件取数，本篇是日志组的数据地基，总纲建议收藏。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
