大数据技术导论
上QQ阅读APP看书,第一时间看更新

3.3.1 数据清洗原理

数据清洗是发现并纠正数据文件中可识别的错误的最后一道程序,包括对数据一致性的检查、无效值和缺失值的处理。

数据清洗的原理是利用有关技术如数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据(见图3.6)。

图3.6 数据清洗原理