不完整数据保存在hive上用于大表

uemypmqf  于 2021-06-29  发布在  Hive
关注(0)|答案(0)|浏览(238)

我正在努力保存“身体上的”,我在Hive上的一张大table。
这些是它的特性:
数字文件1
编号15849436012
原始数据大小445824806987
总尺寸4616742999
transient 时间1463600633
这是我正在使用的代码(在此之前,我还增加了filesave的最大大小):
插入覆盖目录“/directory/mytable”行格式分隔字段,以“,”结尾,从mytable中选择*;
生成一个map命令,使用492个Map器。这样就完成了,并且需要花费大量时间才能将表移动到其目标文件夹。在某个时间点(大约需要4-5个小时),进程终止并保存了许多子文件,尽管每次都不同。
可用磁盘空间现在为3.5 tb。
当我试图在matlab上扫描它时,我得到了一个错误,指出“列/行丢失”,“数据似乎不是表格式的”接近进程结束时,我解释它信号的事实,文件保存是不完整的。
你能帮帮我吗?
谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题