使用hadoop时发生sql server 2016 polybase错误

rbpvctlc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(449)

我的hdfs上有一个简单的管道分隔文件(newfile.txt),我已经正确配置了polybase。我很难使用polybase将此文件导入我的sql server。以下是查询:
首先创建外部文件格式:

CREATE EXTERNAL FILE FORMAT TextFile 
WITH (  
    FORMAT_TYPE = DELIMITEDTEXT  
    , FORMAT_OPTIONS ( Field_Terminator = '|',
      USE_TYPE_DEFAULT = TRUE));

其次,创建hadoopcluster的数据源:

CREATE EXTERNAL DATA SOURCE HadoopCluster
    WITH (   
        TYPE = HADOOP,
        LOCATION = 'hdfs://10.153.14.11:8020'  
    )

最后,创建从hdfs导入数据的外部表:

create external table tmpExternal
(
    patientEncounter varchar(8000),
    PtAcctNo varchar(200)) 
    with (location = '/user/newfolder/',
          data_source = HadoopCluster,
          file_format = TextFile,
          reject_type = value,
          reject_value = 0);

运行上述查询后,我最终得到以下错误:
消息596,级别21,状态1,第26行
无法继续执行,因为会话处于kill状态。
消息0,级别20,状态0,第26行
当前命令出现严重错误。如果有结果,应该丢弃。
我确信磁盘空间没有问题。请帮忙。
更新:正在使用HDP2.5版本。我已经成功地安装了polybase,这是我第一次尝试从hdfs导入外部表。
txt文件的格式有2行2列:
1234 | d
5676 |埃夫格

mrphzbgm

mrphzbgm1#

你修好了吗?我刚刚花了3周时间和sql产品组一起跟踪这个问题。
在我的例子中,我们设置了事件通知来通知ddl的更改。这是一个错误,在他们的代码,将是一个未来的cu。如果有事件通知,请删除它们并重试。
希望这有帮助。

fykwrbwg

fykwrbwg2#

这可能是由于各种原因造成的,对于我们来说,这个错误是在将数据加载到外部表时发生的。数据包含日期列,其中数据包含的日期早于1970-01-01,晚于2038-01-18,这是导致此错误的原因

相关问题