数据清洗

About this Skill

通用数据清理工具，适用于 CSV、TSV、Excel、JSON、JSONL、Parquet 表格数据的清洗任务。当用户需要处理脏数据时使用本技能，包括：去除重复行（完全去重或按指定列去重）、缺失值处理（删除、填充、智能填充）、格式标准化（去空白、大小写、日期统一、数值转换、删除空列、删除列、重命名列）、数值异常值检测（IQR 法）、字段格式校验（手机号/邮箱/身份证号/邮编/IP/URL）、数据画像分析（类型推断、分布统计、高频值）、字符串模式清洗（正则替换/提取）、列拆分/合并、PII 脱敏（手机号/身份证/姓名/邮箱/银行卡号）、批量处理目录下多文件、业务规则引擎以及生成 Markdown 清洗报告。典型触发场景：用户提供含脏数据的表格文件要求"清理/清洗数据"、"去重"、"补全缺失值"、"统一格式"、"检查异常值"、"脱敏"、"批量清洗"、"数据画像"、"字段校验"。