我的hdfs上有一个简单的管道分隔文件(newfile.txt),我已经正确配置了polybase。我很难使用polybase将此文件导入我的sql server。以下是查询:
首先创建外部文件格式:
CREATE EXTERNAL FILE FORMAT TextFile
WITH (
FORMAT_TYPE = DELIMITEDTEXT
, FORMAT_OPTIONS ( Field_Terminator = '|',
USE_TYPE_DEFAULT = TRUE));
其次,创建hadoopcluster的数据源:
CREATE EXTERNAL DATA SOURCE HadoopCluster
WITH (
TYPE = HADOOP,
LOCATION = 'hdfs://10.153.14.11:8020'
)
最后,创建从hdfs导入数据的外部表:
create external table tmpExternal
(
patientEncounter varchar(8000),
PtAcctNo varchar(200))
with (location = '/user/newfolder/',
data_source = HadoopCluster,
file_format = TextFile,
reject_type = value,
reject_value = 0);
运行上述查询后,我最终得到以下错误:
消息596,级别21,状态1,第26行
无法继续执行,因为会话处于kill状态。
消息0,级别20,状态0,第26行
当前命令出现严重错误。如果有结果,应该丢弃。
我确信磁盘空间没有问题。请帮忙。
更新:正在使用HDP2.5版本。我已经成功地安装了polybase,这是我第一次尝试从hdfs导入外部表。
txt文件的格式有2行2列:
1234 | d
5676 |埃夫格
2条答案
按热度按时间mrphzbgm1#
你修好了吗?我刚刚花了3周时间和sql产品组一起跟踪这个问题。
在我的例子中,我们设置了事件通知来通知ddl的更改。这是一个错误,在他们的代码,将是一个未来的cu。如果有事件通知,请删除它们并重试。
希望这有帮助。
fykwrbwg2#
这可能是由于各种原因造成的,对于我们来说,这个错误是在将数据加载到外部表时发生的。数据包含日期列,其中数据包含的日期早于1970-01-01,晚于2038-01-18,这是导致此错误的原因