Azure SQL DW外部文件格式使用Polybase将空字符串视为NULL

rur96b6h 于 2022-10-22 发布在其他

关注(0)|答案(2)|浏览(115)

我正在使用外部表将数据从存储在blob中的csv加载到Azure SQL数据仓库中的表。csv使用字符串分隔符（双引号），空字符串表示为2个双引号（“”）。
我希望空列在表中被视为NULL。我使用的外部文件格式设置为use_TYPE_DEFAULT=FALSE，但这似乎不起作用，因为空列作为空字符串导入。只有当列是字符串时才会发生这种情况，数字列被正确转换为NULL。
我还导入了一个不同的csv，它没有使用不同外部文件格式的字符串分隔符，并且这些空列被导入为NULL。因此，它看起来与STRING_DELIMITER选项有关。
csv：

col1;col2;col3;col4;col5;col6
"a";"b";"c";"1";"2";"3"
"d";"";"f";"4";"";"6"

外部文件格式的代码：

CREATE EXTERNAL FILE FORMAT eff_string_del
WITH (
        FORMAT_TYPE = DELIMITEDTEXT
        ,FORMAT_OPTIONS(
            FIELD_TERMINATOR = ';'
            ,STRING_DELIMITER = '0x22'
            ,FIRST_ROW = 2
            ,USE_TYPE_DEFAULT = False)
    )

使用外部文件格式的表格代码：

CREATE EXTERNAL TABLE dbo.test (
col1 varchar(1) null
,col2 varchar(1) null
,col3 varchar(1) null
,col4 int null
,col5 int null
,col6 int null
)
WITH (
        DATA_SOURCE = [EDS]
        ,LOCATION = N'test.csv'
        ,FILE_FORMAT = eff_string_del
        ,REJECT_TYPE = VALUE
        ,REJECT_VALUE = 0
        )

查询外部表时的结果：

SELECT *
FROM [dbo].[test]

col1 col2 col3 col4        col5        col6
---- ---- ---- ----------- ----------- -----------
a    b    c    1           2           3
d         f    4           NULL        6

有人能帮我解释一下发生了什么或我做错了什么吗？

sql-server

来源：https://stackoverflow.com/questions/53653507/azure-sql-dw-external-file-format-treat-empty-strings-as-null-using-polybase

2条答案

按热度按时间

mec1mxoz1#

在外部文件格式中使用USE_TYPE_DEFAULT = False。在分隔文本文件中使用单词NULL存储的任何NULL值都将作为字符串“NULL”导入。
例如：

CREATE EXTERNAL FILE FORMAT example_file_format
WITH (FORMAT_TYPE = DELIMITEDTEXT,
      FORMAT_OPTIONS(
          FIELD_TERMINATOR = ',',
          STRING_DELIMITER = '"',
          FIRST_ROW = 2, 
          USE_TYPE_DEFAULT = False)
)

参考：https://learn.microsoft.com/en-us/sql/t-sql/statements/create-external-file-format-transact-sql?view=sql-server-2017

赞(0）回复(0）举报 2022-10-22

rjzwgtxy2#

您是否考虑过在该字段中添加值NULL而不是""？
请参阅下面我使用以下代码执行的测试：

declare @mytable table
(id int identity primary key, column1 varchar(100))

insert into @mytable (column1)  values ('test1')
insert into @mytable (column1)  values ('test2')
insert into @mytable (column1)  values (null)
insert into @mytable (column1)  values ('test3')
insert into @mytable (column1)  values (null)

select

* 

from    @mytable

结果如下：

小时
这对你有用吗？

赞(0）回复(0）举报 2022-10-22

我来回答

Azure SQL DW外部文件格式使用Polybase将空字符串视为NULL

2条答案

相关问题

热门标签

最新问答