我有非常大的数据(1 X 23750811)。我想在直方图中可视化这些数据--MatLab。由于数据量非常大,我的曲线图中只有一个点。但我可以将它们分开,前四分之一的数据等等。任何一次将所有数据可视化到单个曲线图中的建议。谢啦!
kmynzznz1#
将所有数据加载到MatLab中效率很低;您可以尝试使用DuckDB;它允许您使用SQL以CSV或Parquet等多种格式查询非常大的数据集;您可以预先计算垃圾箱和高度,然后导出它们并使用MATLAB绘制它们。以下是您可以使用的代码片段:
select floor(column/bin_size)*bin_size, count(*) as count from "path/to/file.csv" group by 1 order by 1;
或者,您可以尝试对数据进行采样。
1条答案
按热度按时间kmynzznz1#
将所有数据加载到MatLab中效率很低;您可以尝试使用DuckDB;它允许您使用SQL以CSV或Parquet等多种格式查询非常大的数据集;您可以预先计算垃圾箱和高度,然后导出它们并使用MATLAB绘制它们。
以下是您可以使用的代码片段:
或者,您可以尝试对数据进行采样。