手把手教你做数据清洗和转换

据集的样本转储到电子表格程序中的方法一样简单，只需查看每列中出现的值的类型或范围，即可识别诸如不负责任的默认值之类的错误(例如，在没有测量值的情况下，使用零而不是NULL)或不可能的范围或不兼容的合并(数据似乎来自多个来源，每个来源中使用了不同的单位。例如，华氏度与摄氏度)。

数据分析工具非常丰富。当数据集太大而无法在电子表格程序中打开时，Python脚本或像RStudio这样的应用程序具有可视化、汇总或报告数据的强大功能。使用你熟悉的任何方法，至少要确定不同属性值的格式和一般分布。

02 数据处理工具

在能够使用数据集之前，有许多工具可以用于清洗、处理和了解数据集。Python是这方面的事实标准，它有很多工具来理解和处理数据。

Matplotlib之类的包，通常可以非常容易地生成用于可视化检查的数据图表。

Pillow提供各种处理、转换和操作图像的功能。

Python有一个用于执行统计的内置程序包，如果需要更多功能的话，NumPy也有。

Python还具有广泛的内置和第三方支持内容，可处理你将要遇到的几乎所有文件格式，包括CSV、JSON、YAML、XML和HTML，以及更深奥的格式(如TOML或INI文件)。

如果这些都不起作用，则有一个值得搜索的软件包索引器，可以查看是否有解决你的问题的方法。或者，只需搜索“我想用Python做事情”，大多数情况下，你会发现某人遇到了相同的问题，并为此提供了解决方案，或者至少提供了一些可以查看的指引。

如果你不喜欢Python，那么几乎所有选择的编程语言都具有类似的工具和功能。我们之所以喜欢Python，是因为这些工作已经为你完成了，而且有很多例子可以作为起点。Python在这方面没有什么神奇之处，但它是最受欢迎的选择，所以我们提倡坚持使用主流工具。

另一个不错的选择是电子表格程序，例如Excel、Numbers或Google Sheets。它们经常受到指责，因为在这些程序中进行数据准备可能很麻烦，但在需要使用Python(或你选择的其他工具)之前，你可以使用它们非常快速地获得大量有用的洞见和准备。作为系统附赠的工具，你基本上肯定已经安装了其中一个，并且可以在你的机器上运行。

最后，不要害怕跳出框架思考——一些像压缩数据集这样简单的东西，甚至不需要看数据集内部就能大致了解数据集的熵大小。如果一个数据集压缩得非常好，而来自相同来源的另一个数据集压缩得不那么好，那么第二个数据集的数据的熵可能比第一个数据集的大。

图像数据集不是那么容易观察到的，但绝对值得花时间浏览一下图

（编辑：开发网_郴州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!