我正在独立工作（我们的集群还没有配置）。我试图用hcatalog从一个文件创建一个新表，但是我有以下错误。 field larger than field limit (131072) 这个值似乎就是 io.file.buffer.size ，配置为131072。我说得对吗？但是，此选项的描述是 Size of read/write buffer used in SequenceFiles ，所以我一点也不确定。我的文件是文本文件。所以我不确定，这是一个好的属性改变。你知道吗？
field larger than field limit (131072)
io.file.buffer.size
Size of read/write buffer used in SequenceFiles
5f0d552i1#
我想要么是因为，配置单元create语句中设置的字段分隔符未设置为正确的分隔符，因此缓冲区中读取的字段超出了允许的最大长度。您的字段分隔符设置正确，但某些字段确实很长，或者缺少正确的分隔符。如果是这样的话，您需要对文件进行某种预处理，以确保它不会出现这种情况。这里有一个类似的问题和答案
1条答案
按热度按时间5f0d552i1#
我想要么是因为，
配置单元create语句中设置的字段分隔符未设置为正确的分隔符，因此缓冲区中读取的字段超出了允许的最大长度。
您的字段分隔符设置正确，但某些字段确实很长，或者缺少正确的分隔符。如果是这样的话，您需要对文件进行某种预处理，以确保它不会出现这种情况。
这里有一个类似的问题和答案