
前言
Excel 在数据工作中依然不可或缺,但我们花在它上面的大量时间都只是机械操作。比如合并多个来源的文件、查找重复记录、格式化格式混乱的导出数据、把总表拆分成多个独立文件等任务,本身并不复杂,却非常耗时,还容易出现人为错误。
下面这 5 个 Python 脚本可以帮你自动化完成这些工作。每个脚本都是独立可配置的,专门为处理现实中杂乱的真实数据而设计。
1. 合并多个 Excel 文件
痛点
汇总多个 Excel 或 CSV 文件时,手动操作 —— 逐个打开文件、复制数据、粘贴到总表 —— 速度慢,还容易出现错位错误,尤其是当不同文件的列顺序不一致时。
脚本功能
该脚本会扫描文件夹中的所有 \.xlsx 和 \.csv 文件,将所有数据堆叠到一张统一的表格中,并输出一份整洁的合并文件。可选择添加来源文件列,方便追踪每一行数据来自哪个文件,同时能自动处理列顺序不匹配的问题。
实现原理
使用 pandas 读取目标目录下的所有文件,按列名而非位置对齐列,并将所有内容拼接成一个 Datafr ame。可通过配置 add\_source\_column 参数为每一行追加原始文件名。脚本会记录列不匹配的情况,方便你查看哪些文件存在多余或缺失字段。最终通过 openpyxl 输出,并附带一个汇总表,展示每个文件的行数统计。
2. 查找并标记重复行
痛点
在跨系统导出、导入的数据集中,重复记录非常常见。完全一致的重复项很好找,但近似重复项(内容相同、格式或空格略有差异)靠人工大规模排查非常困难。
脚本功能
脚本根据你指定的列扫描 Excel 文件,查找重复行;通过字符串模糊匹配识别完全重复与近似重复项,并输出一份标注版文件,用颜色和置信度分数高亮标记所有疑似重复组。
实现原理
使用 pandas 检测完全重复项,使用 RapidFuzz 对可配置的关键字段进行模糊字符串匹配。为每一行分配重复组 ID 和匹配置信度百分比。输出的 Excel 文件通过 openpyxl 样式高亮重复簇,并单独生成一张汇总表,按匹配类型统计总重复数。
3. 清洗并标准化杂乱的导出数据
痛点
从外部系统导出的数据格式通常很混乱:日期格式不统一、大小写混乱、电话号码分隔符五花八门、存在大量首尾空格。在分析前手动清洗会耗费大量时间。
脚本功能
对 Excel 或 CSV 文件应用一套可配置的清洗规则,包括:标准化日期、去除首尾空格、统一大小写、规范化手机号与邮编、删除空行、标记异常单元格。最终输出清洗后的文件和修改日志,清晰记录每一处改动。
实现原理
脚本读取配置文件,将列名映射到对应的清洗操作:date\_format(日期格式化)、title\_case(首字母大写)、strip\_whitespace(去空格)、phone\_normalize(手机号标准化)、remove\_blank\_rows(删除空行)等。所有清洗步骤按顺序执行。修改日志会单独放在一张表中,逐行对比原始值与清洗后值。不会静默丢弃任何数据;若某个值无法解析,会在 \_clean\_errors 列中进行标记。
4. 按列值将单个表格拆分为多个文件
痛点
一份总数据集通常需要拆分成多个文件分发,例如按地区、部门或类别拆分。手动操作需要反复筛选、复制、保存,极易出现数据混淆。
脚本功能
读取单个 Excel 表格,按指定列的唯一值拆分成多个输出文件,每个文件只包含对应类别的行,并保留原始格式。文件名根据列值自动生成。可选择根据你提供的 “名称 - 邮箱” 映射表,将每个文件作为附件自动发送邮件。
实现原理
通过 pandas 按目标列对 Datafr ame 分组,再用 openpyxl 将每个分组写入独立的 \.xlsx 文件。支持自定义命名模板,例如 Sales\_Report\_\{value\}\_\{date\}\.xlsx。每个输出文件会保留原表的列标题、数据类型和基础格式。可选的邮件模式会读取一份 \{值\} → \{邮箱地址\} 的 CSV 映射,通过 SMTP 发送对应文件。
5. 从原始数据生成汇总数据透视报表
痛点
从原始数据制作汇总报表(按类别统计、月度趋势、TOP 绩效等)需要手动创建数据透视表、格式化、排版。如果源数据经常更新,每次都要从头重做一遍。
脚本功能
读取原始数据 Excel 文件,生成可配置的透视汇总表,并输出一份多工作表的格式化汇总报告,同时生成并嵌入图表。源数据更新后可直接重新运行脚本。
实现原理
通过配置文件定义日期字段、数值字段、分组列和需要执行的聚合方式。使用 pandas 完成所有聚合计算,结合 openpyxl 与 Matplotlib 生成图表。每种汇总类型单独占用一张工作表,通过条件格式高亮最大 / 最小值。报表支持按需重新生成,再次运行脚本会干净覆盖旧文件。
总结
这 5 个脚本覆盖了常见且易于自动化、但手动操作极其枯燥的 Excel 任务。你可以先从工作中最频繁的场景开始使用。
| 脚本名称 | 用途 | 核心功能 | 最佳适用场景 |
|---|---|---|---|
| Excel 合并脚本 | 合并多个 Excel/CSV 文件 | 列对齐、来源追踪、汇总表 | 多来源数据汇总 |
| 重复项查找脚本 | 识别完全重复与模糊重复 | 模糊匹配、置信度分数、颜色高亮 | 清洗含重复记录的数据集 |
| 数据清洗脚本 | 标准化杂乱导出数据 | 格式化规则、数据归一化、修改日志 | 外部原始数据预处理 |
| 表格拆分脚本 | 将单表拆分为多文件 | 自动命名、分组、可选邮件发送 | 按类别 / 地区分发报表 |
| 透视报表生成脚本 | 从原始数据创建汇总报告 | 自动透视、图表、多工作表输出 | 周期性报表与看板制作 |
祝你自动化愉快!
推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !



雷达卡





京公网安备 11010802022788号







