我正在使用abinitio并尝试将输入表中查询的结果填充到hdfs中。我想要Parquet地板的样式。我尝试使用dml来配置单元文本,但下面是我的结果,我不确定这意味着什么。
$ dml-to-hive text $AI_DML/myprojectdml.dml
Usage: dml-to-avro <record_format> <output_file>
or: dml-to-avro help
<record-format> is one of:
<filename> Read record format from file
-string <string> Read record format from string
<output_file> is one of:
<filename> Output Avro schema to file
- Output Avro schema to standard output
我还尝试使用write hive table组件,但收到以下错误:
[B276]
The internal charset "XXcharset_NONE" was encountered when a valid character set data
structure was expected. One possible cause of this error is that you specified a
character set to the Co>Operating System that is misspelled or otherwise incorrect.
If you cannot resolve the error please contact Customer Support.
任何帮助将是巨大的,我正在努力有我的输出到Parquet地板的hdfs。
谢谢,克里斯·理查森
1条答案
按热度按时间z4iuyo4d1#
我知道这是一个迟到的答复,但如果你仍然在这方面的工作或其他人偶然发现这个像我一样,我想我已经找到了一个解决办法。
我使用dml-to-hive为parquet格式创建一个dml,并将其写入一个文件。
一旦创建了这个dml,就可以在“write hdfs”组件的in端口上使用它。双击组件,转到端口选项卡,单击单选按钮“使用文件”,然后将其指向parquet.dml
然后,只需将write\ u format选项设置为parquet,并对其进行一次旋转。我能够创建Parquet,兽人,和avro文件使用上述过程。