使用regexserde在配置单元中创建ddl时出错

mfuanj7w 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(394)

我有分隔符为“，|”的数据。
我创建了hive ddl，如下所示：

CREATE TABLE player_profile
      (
       player_id BIGINT COMMENT 'Player Profile Identifier', 
       change_ts STRING COMMENT 'Change Datetime', 
       child_birth_year INT COMMENT 'Child Birth Year', 
       country STRING COMMENT 'Country Code', 
      )
      ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
      WITH SERDEPROPERTIES ('input.regex'='^(\\d+),\\|(.*),\\|(\\d+),\\|(.*)$')
      STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
      OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

我在部署这个ddl时遇到了流动错误。

FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.contrib.serde2.RegexSerDe only accepts string columns, but column[0] named player_id has type bigint)
 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

我给出的正则表达式有问题吗？如果是的话，在这个例子中正则表达式是什么。
hive（0.11）regex serde是否支持bigint？

hadoop Hive regex

来源：https://stackoverflow.com/questions/24868224/error-in-ddl-creation-in-hive-using-regexserde

2条答案

按热度按时间

gcxthw6b1#

RegexSerDe 显式检查是否所有列都是字符串。请参见regexserde.java
您可以将所有列更改为字符串，然后在查询数据时在int和string之间转换。

赞(0）回复(0）举报 2021-06-04

wfveoks02#

正如您在例外情况中指出的问题：

RegexSerDe only accepts string columns, but column[0] named player_id has type bigint

regexserde不支持仅bigint字符串。
您是否尝试过改变：

player_id BIGINT COMMENT

签署人：

player_id STRING COMMENT

检查一下是否能解决你的问题？
您可以看到regexserde.java源代码：

// All columns have to be of type STRING.
for (int c = 0; c < numColumns; c++) {
  if (!columnTypes.get(c).equals(TypeInfoFactory.stringTypeInfo)) {
    throw new SerDeException(getClass().getName()
        + " only accepts string columns, but column[" + c + "] named "
        + columnNames.get(c) + " has type " + columnTypes.get(c));
  }
}

正如你所看到的，这就是你得到的错误。希望对你有所帮助。

展开查看全部

赞(0）回复(0）举报 2021-06-04

我来回答

使用regexserde在配置单元中创建ddl时出错

2条答案

相关问题

热门标签

最新问答