将大型机rmf3日志导入hadoop环境

5m1hhzi4  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(270)

我想将大型机rmf3日志(.bin格式)导入hadoop。我不确定要遵循的过程,有人能解释一下如何将这些文件导入hadoop并进行数据结构化活动吗。

7gs2gvoe

7gs2gvoe1#

这是对@martinpacker答案的扩展,我不是smf/rmf方面的Maven。
简单的回答是:在你的站点上寻找一个现有的工具来将rmf日志记录转换成你更熟悉的东西,例如rmf工具可用吗???
smf是ibm在大型机上记录系统操作时使用的一种数据格式。它是二进制格式。
smf数据的第13章列出了各种记录类型。
例如,作业开始记录的标题部分是作业开始标题。
有转换成其他格式的工具见rmf工具,你可能已经有了这个的许可证???
vsam是一种文件格式,允许通过there-key访问记录(即,它是一种isam格式,如berkley db或c-isam)。许多大型机包(可能是rmf3)使用vsam来存储数据。
许多大型机软件包的初始版本是在70年代,当时没有像db2那样的sqldb。vsam在所有的ZO上都是可用的(当时的mvs等),而没有可用的通用db。
2014年6月28日更新:
有一个项目https://github.com/tmalaska/copybookinputformat 这应该是ale处理短信数据。
该项目使用jrecord通过一个copybook读取数据。jrecord直接支持大型机二进制文件格式。
虽然jrecord通常与cobol copybooks一起使用,但jrecord还支持xml和csv copybooks(或者您可以编写自己的copybook阅读器)。jrecord确实支持大型机二进制文件格式。

w9apscun

w9apscun2#

rmf mon iii通常不被描述为“logs”,但我假设你指的是mon iii可以被诱导剪切的smf记录。还是说它使用的vsam数据集?
在任何情况下,可能没有一个商业上可用的记录Map对hadoop有用。需要什么格式?我假设至少csv和json。
您的挑战将是“展平”smf记录并Map它们。或者从vsam数据集中提取记录并Map它们。
告诉我们你进展如何。

相关问题