从头开始dml到hive

ocebsuys  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(511)

我正在使用abinitio并尝试将输入表中查询的结果填充到hdfs中。我想要Parquet地板的样式。我尝试使用dml来配置单元文本,但下面是我的结果,我不确定这意味着什么。

$ dml-to-hive text $AI_DML/myprojectdml.dml
Usage: dml-to-avro <record_format> <output_file>

   or: dml-to-avro help

  <record-format> is one of:
       <filename>           Read record format from file
       -string <string>     Read record format from string

  <output_file> is one of:
       <filename>           Output Avro schema to file
       -                    Output Avro schema to standard output

我还尝试使用write hive table组件,但收到以下错误:

[B276]
The internal charset "XXcharset_NONE" was encountered when a valid character set data
structure was expected.   One possible cause of this error is that you specified a 
character set to the Co>Operating System that is misspelled or otherwise incorrect.
If you cannot resolve the error please contact Customer Support.

任何帮助将是巨大的,我正在努力有我的输出到Parquet地板的hdfs。
谢谢,克里斯·理查森

z4iuyo4d

z4iuyo4d1#

我知道这是一个迟到的答复,但如果你仍然在这方面的工作或其他人偶然发现这个像我一样,我想我已经找到了一个解决办法。
我使用dml-to-hive为parquet格式创建一个dml,并将其写入一个文件。

dml-to-hive parquet current.dml > parquet.dml

一旦创建了这个dml,就可以在“write hdfs”组件的in端口上使用它。双击组件,转到端口选项卡,单击单选按钮“使用文件”,然后将其指向parquet.dml
然后,只需将write\ u format选项设置为parquet,并对其进行一次旋转。我能够创建Parquet,兽人,和avro文件使用上述过程。

相关问题