楼主: CDA网校
286 0

5 个实用 Python 脚本:自动化处理枯燥的 Excel 任务 [推广有奖]

管理员

已卖:189份资源

泰斗

16%

还不是VIP/贵宾

-

威望
3 级
论坛币
162498 个
通用积分
19655.8674
学术水平
373 点
热心指数
385 点
信用等级
348 点
经验
250226 点
帖子
8022
精华
23
在线时间
4605 小时
注册时间
2019-9-13
最后登录
2026-11-20

初级热心勋章

楼主
CDA网校 学生认证  发表于 2026-4-22 15:55:06 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

前言

Excel 在数据工作中依然不可或缺,但我们花在它上面的大量时间都只是机械操作。比如合并多个来源的文件、查找重复记录、格式化格式混乱的导出数据、把总表拆分成多个独立文件等任务,本身并不复杂,却非常耗时,还容易出现人为错误。

下面这 5 个 Python 脚本可以帮你自动化完成这些工作。每个脚本都是独立可配置的,专门为处理现实中杂乱的真实数据而设计。


1. 合并多个 Excel 文件

痛点

汇总多个 Excel 或 CSV 文件时,手动操作 —— 逐个打开文件、复制数据、粘贴到总表 —— 速度慢,还容易出现错位错误,尤其是当不同文件的列顺序不一致时。

脚本功能

该脚本会扫描文件夹中的所有 \.xlsx 和 \.csv 文件,将所有数据堆叠到一张统一的表格中,并输出一份整洁的合并文件。可选择添加来源文件列,方便追踪每一行数据来自哪个文件,同时能自动处理列顺序不匹配的问题。

实现原理

使用 pandas 读取目标目录下的所有文件,按列名而非位置对齐列,并将所有内容拼接成一个 Datafr ame。可通过配置 add\_source\_column 参数为每一行追加原始文件名。脚本会记录列不匹配的情况,方便你查看哪些文件存在多余或缺失字段。最终通过 openpyxl 输出,并附带一个汇总表,展示每个文件的行数统计。


2. 查找并标记重复行

痛点

在跨系统导出、导入的数据集中,重复记录非常常见。完全一致的重复项很好找,但近似重复项(内容相同、格式或空格略有差异)靠人工大规模排查非常困难。

脚本功能

脚本根据你指定的列扫描 Excel 文件,查找重复行;通过字符串模糊匹配识别完全重复与近似重复项,并输出一份标注版文件,用颜色和置信度分数高亮标记所有疑似重复组。

实现原理

使用 pandas 检测完全重复项,使用 RapidFuzz 对可配置的关键字段进行模糊字符串匹配。为每一行分配重复组 ID 和匹配置信度百分比。输出的 Excel 文件通过 openpyxl 样式高亮重复簇,并单独生成一张汇总表,按匹配类型统计总重复数。


3. 清洗并标准化杂乱的导出数据

痛点

从外部系统导出的数据格式通常很混乱:日期格式不统一、大小写混乱、电话号码分隔符五花八门、存在大量首尾空格。在分析前手动清洗会耗费大量时间。

脚本功能

对 Excel 或 CSV 文件应用一套可配置的清洗规则,包括:标准化日期、去除首尾空格、统一大小写、规范化手机号与邮编、删除空行、标记异常单元格。最终输出清洗后的文件和修改日志,清晰记录每一处改动。

实现原理

脚本读取配置文件,将列名映射到对应的清洗操作:date\_format(日期格式化)、title\_case(首字母大写)、strip\_whitespace(去空格)、phone\_normalize(手机号标准化)、remove\_blank\_rows(删除空行)等。所有清洗步骤按顺序执行。修改日志会单独放在一张表中,逐行对比原始值与清洗后值。不会静默丢弃任何数据;若某个值无法解析,会在 \_clean\_errors 列中进行标记。


4. 按列值将单个表格拆分为多个文件

痛点

一份总数据集通常需要拆分成多个文件分发,例如按地区、部门或类别拆分。手动操作需要反复筛选、复制、保存,极易出现数据混淆。

脚本功能

读取单个 Excel 表格,按指定列的唯一值拆分成多个输出文件,每个文件只包含对应类别的行,并保留原始格式。文件名根据列值自动生成。可选择根据你提供的 “名称 - 邮箱” 映射表,将每个文件作为附件自动发送邮件。

实现原理

通过 pandas 按目标列对 Datafr ame 分组,再用 openpyxl 将每个分组写入独立的 \.xlsx 文件。支持自定义命名模板,例如 Sales\_Report\_\{value\}\_\{date\}\.xlsx。每个输出文件会保留原表的列标题、数据类型和基础格式。可选的邮件模式会读取一份 \{值\} → \{邮箱地址\} 的 CSV 映射,通过 SMTP 发送对应文件。


5. 从原始数据生成汇总数据透视报表

痛点

从原始数据制作汇总报表(按类别统计、月度趋势、TOP 绩效等)需要手动创建数据透视表、格式化、排版。如果源数据经常更新,每次都要从头重做一遍。

脚本功能

读取原始数据 Excel 文件,生成可配置的透视汇总表,并输出一份多工作表的格式化汇总报告,同时生成并嵌入图表。源数据更新后可直接重新运行脚本。

实现原理

通过配置文件定义日期字段、数值字段、分组列和需要执行的聚合方式。使用 pandas 完成所有聚合计算,结合 openpyxl 与 Matplotlib 生成图表。每种汇总类型单独占用一张工作表,通过条件格式高亮最大 / 最小值。报表支持按需重新生成,再次运行脚本会干净覆盖旧文件。


总结

这 5 个脚本覆盖了常见且易于自动化、但手动操作极其枯燥的 Excel 任务。你可以先从工作中最频繁的场景开始使用。

脚本名称 用途 核心功能 最佳适用场景
Excel 合并脚本 合并多个 Excel/CSV 文件 列对齐、来源追踪、汇总表 多来源数据汇总
重复项查找脚本 识别完全重复与模糊重复 模糊匹配、置信度分数、颜色高亮 清洗含重复记录的数据集
数据清洗脚本 标准化杂乱导出数据 格式化规则、数据归一化、修改日志 外部原始数据预处理
表格拆分脚本 将单表拆分为多文件 自动命名、分组、可选邮件发送 按类别 / 地区分发报表
透视报表生成脚本 从原始数据创建汇总报告 自动透视、图表、多工作表输出 周期性报表与看板制作

祝你自动化愉快!

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !

免费加入阅读:https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:python EXCEL xcel exce 自动化

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
扫码
拉您进交流群
GMT+8, 2026-11-22 07:29