核心职责
数据质量团队负责检查用于训练或评测AI系统的数据是否准确、完整、具有代表性,识别数据中的标注错误、覆盖偏差或异常样本。
为什么数据质量如此重要
AI系统的表现在很大程度上取决于训练和评测数据的质量,数据质量问题(如标注不一致、样本覆盖不均衡)往往是AI系统表现不佳的根本原因,比模型算法本身的问题更常见也更难被直接发现。
具体工作内容
包括设计数据质量检查规则、抽样审核标注结果、分析数据分布是否存在明显偏差、协调标注团队修正问题数据等。
需要的能力
需要具备细致的分析能力和一定的统计基础,不要求算法研发背景,更看重严谨的工作方法和对数据代表性问题的敏感度。