我们最近在aix7.1服务器上将datastage从9.1升级到了11.7。我试着用新的连接器“文件连接器”来写Parquet地板文件。我创建了一个简单的job-takes-from-teradata作为源代码，并在parquet文件上写作为目标。工作的形象
但面对以下错误：
> File_Connector_20,0: java.lang.NoClassDefFoundError: org.apache.hadoop.fs.FileSystem
at java.lang.J9VMInternals.prepareClassImpl (J9VMInternals.java)
at java.lang.J9VMInternals.prepare (J9VMInternals.java: 304)
at java.lang.Class.getConstructor (Class.java: 594)
at com.ibm.iis.jis.utilities.dochandler.impl.OutputBuilder.<init> (OutputBuilder.java: 80)
at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 340)
at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 302)
at com.ibm.iis.cc.filesystem.FileSystem.getBuilder (FileSystem.java: 2586)
at com.ibm.iis.cc.filesystem.FileSystem.writeFile (FileSystem.java: 1063)
at com.ibm.iis.cc.filesystem.FileSystem.process (FileSystem.java: 935)
at com.ibm.is.cc.javastage.connector.CC_JavaAdapter.run (CC_JavaAdapter.java: 444)我遵循以下链接中的步骤：https://www.ibm.com/support/knowledgecenter/sszjpz_11.7.0/com.ibm.swg.im.iis.conn.s3.usage.doc/topics/amaze_file_formats.html
1-我将jar文件上载到“/ds9/ibm/informationserver/server/dscomponents/jars”
2-将它们添加到agent.sh中的类路径，然后重新启动datastage。
3-我已经将环境变量cc\u use\u latest\u filecc\u jars的值设置为parquet-1.9.0。jar:orc-2.1.jar.
我还尝试在作业中添加classpath作为环境变量，但没有成功。
注意到我正在使用 Local 在文件系统中。
所以我很感激你的任何暗示，因为我很久以前就在寻找。提前谢谢，
2条答案
按热度按时间wqsoz72f1#
您使用的是哪种文件系统模式？如果您正在使用
Native HDFS作为文件系统模式，则需要配置classpath以包含一些第三方jar。也许这些链接应该为您提供一些指导。
https://www.ibm.com/support/pages/node/301847
https://www.ibm.com/support/pages/steps-required-configure-file-connector-use-parquet-or-orc-file-format
注意：根据hadoop发行版和您使用的版本，jar的版本可能会有所不同。
如果以上信息无助于解决问题，那么您可能需要联系ibm支持人员来解决这个问题。
u1ehiz5o2#
要使用file connector，不需要在agent.sh中添加类路径，除非您要从imam导入hdfs文件。
如果您的要求是读取Parquet文件，则将$cc\u use\u latest\u filecc\u jars=parquet-1.9.0.jar$filecc\u parquet\u avro\u compat\u mode=true
如果您仍然看到这个问题，那么使用$cc\u msg\u level=2运行job，并打开ibm支持案例以及来自引擎层的job design、完整作业日志和version.xml文件。