数据库—将100 gb数据从c应用程序移动到cassandra或任何类似的大数据存储中的有效方法是什么?

k4ymrczo  于 2021-06-10  发布在  Cassandra
关注(0)|答案(1)|浏览(232)

这100 gb的数据来自电子设备,将以文件的形式存在。目前,我们的应用程序产生4-6 gb的数据,我们存储在谷歌驱动器。我们正在考虑的是设置服务器并从工具中手动下载文件。

6jjcrrmo

6jjcrrmo1#

我想你可能会调查一些可能性:
1-在尝试上载数据之前是否可以压缩数据,特别是如果文件格式允许高压缩率。
2-是否可以在压缩和上载之前,对数据文件中的冗余信息进行清理。如果文件包含重要的重复数据字段,则可能只保留数据更改。例如,一个设备可以报告电机是否以10毫秒的间隔运行。如果电机每小时只打开/关闭一次,那么在上传之前可以删除大量信息,而不会丢失信息。
3-是否有可能不断地流式传输数据,或者可能在更小的连续块(比如10或100KB)中。流数据可能会使端到端的处理流更具响应性,同时对网络/互联网丢失也更有弹性。
4-也许可以阅读一些关于一些物联网设备模式如何在在线和离线情况下将重要信息上传到云中的信息。
如果您提供有关设置、数据文件格式等的更多详细信息,则可以提供更具体的建议。

相关问题