IBM IIDR（InfoSphere Data Replication）针对不同的平台有不同的Engine，它们与特定的平台/数据库交互，需要特定的配置。 您可以使用FixCentral中的同一产品安装程序来安装DB2引擎，以及IIDR for DataStage引擎（它提供了通过WebHDFS API调用在Hadoop中生成数据的选项，本地磁盘上的平面文件）。这需要选择单独的Engine安装到另一个单独的安装路径。您只能有一组示例/平台，但您可以在同一主机上安装多个引擎。 IIDR社区wiki页面URL已更改，但您可以在此处找到它：https://www.ibm.com/support/pages/ibm-data-replication-community-wiki#Hadoop沿着概述配置订阅以面向Hadoop的步骤的幻灯片。（https://ibm.ent.box.com/s/w9yxxqi4vs2cfd7v83321hoxgvc7xr9n） 您可能需要了解Hadoop环境的身份验证设置。如果需要Kerberos身份验证，您可能需要确定要使用的主体并配置密钥。 安装了目标引擎并创建了示例之后，您可以使用管理控制台GUI工具来配置从DB2到Hadoop的“订阅”Map。 Chris Schreiber，IBM IIDR / CDC团队
我认为您需要的是有关使用WebHDFS设置Hadoop订阅的更多详细信息，但另外还需要管理Kerberos票证缓存的步骤。（IBM IIDR幻灯片，介绍如何使用WebHDFS为Haoop配置IIDR：https://ibm.ent.box.com/s/w9yxxqi4vs2cfd7v83321hoxgvc7xr9n） 其次，您可以更改输出平面文件中的字段分隔符，但这需要创建一个CustomUserExit类，这是对www.example.com的Sample类的微小更改SampleDataFormatForWebHdfs.java 此链接将提供有关编译IIDR产品安装附带的示例用户出口的更多详细信息。https://www.ibm.com/docs/en/idr/11.4.0?topic=cdfcreid-compiling-sample-java-class-user-exits-unix-linux SampleDataFormatForWebHdfs.java should be used when targeting Hadoop, vs the basic class SampleDataStageDataFormat.java as there are some minor differences with quote escaping string values. Both the Field and row delimiters are specified by variables within the class and can be customized by compiling your own custom changes to the class and providing that in the Table mapping details panel for the User Exit class to use. IBM CDC/IIDR团队
2条答案
按热度按时间mutmk8jj1#
IBM IIDR（InfoSphere Data Replication）针对不同的平台有不同的Engine，它们与特定的平台/数据库交互，需要特定的配置。
您可以使用FixCentral中的同一产品安装程序来安装DB2引擎，以及IIDR for DataStage引擎（它提供了通过WebHDFS API调用在Hadoop中生成数据的选项，本地磁盘上的平面文件）。这需要选择单独的Engine安装到另一个单独的安装路径。您只能有一组示例/平台，但您可以在同一主机上安装多个引擎。
IIDR社区wiki页面URL已更改，但您可以在此处找到它：https://www.ibm.com/support/pages/ibm-data-replication-community-wiki#Hadoop沿着概述配置订阅以面向Hadoop的步骤的幻灯片。（https://ibm.ent.box.com/s/w9yxxqi4vs2cfd7v83321hoxgvc7xr9n）
您可能需要了解Hadoop环境的身份验证设置。如果需要Kerberos身份验证，您可能需要确定要使用的主体并配置密钥。
安装了目标引擎并创建了示例之后，您可以使用管理控制台GUI工具来配置从DB2到Hadoop的“订阅”Map。
Chris Schreiber，IBM IIDR / CDC团队
kqhtkvqz2#
我认为您需要的是有关使用WebHDFS设置Hadoop订阅的更多详细信息，但另外还需要管理Kerberos票证缓存的步骤。（IBM IIDR幻灯片，介绍如何使用WebHDFS为Haoop配置IIDR：https://ibm.ent.box.com/s/w9yxxqi4vs2cfd7v83321hoxgvc7xr9n）
其次，您可以更改输出平面文件中的字段分隔符，但这需要创建一个CustomUserExit类，这是对www.example.com的Sample类的微小更改SampleDataFormatForWebHdfs.java
此链接将提供有关编译IIDR产品安装附带的示例用户出口的更多详细信息。https://www.ibm.com/docs/en/idr/11.4.0?topic=cdfcreid-compiling-sample-java-class-user-exits-unix-linux
SampleDataFormatForWebHdfs.java should be used when targeting Hadoop, vs the basic class SampleDataStageDataFormat.java as there are some minor differences with quote escaping string values. Both the Field and row delimiters are specified by variables within the class and can be customized by compiling your own custom changes to the class and providing that in the Table mapping details panel for the User Exit class to use.
IBM CDC/IIDR团队