我正在使用下面的代码读取spark dataframe中的csv文件,但输出很乱:
df = spark.read.format('csv').options(header=True, inferSchema=True).csv('spark.csv')
输出:+
yquaqz181#
--------+
zfciruhq2#
+------+--------+--------+--------+
vzgqcmou3#
-+
gz5pxeao4#
mcdcgff05#
ojsjcaue6#
+--------+
vi4fp9gy7#
-----+|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|房产豪宅|房产地址|房产地址|巴黎|巴黎| | | | | |你知道吗+
1zmg4dgp8#
dluptydi9#
6qftjkof10#
------+
hgc7kmma11#
------+--------+
rdrgkggo12#
--+
uajslkp613#
您已经正确地读取了Dataframe,但是您的Dataframe太宽(列太多),无法放入窗口中,因此行被 Package 并导致混乱的输出。如果您想要更整洁的输出,请尝试 df.show(vertical=True) ,或选择要显示的列,例如 df.select(df.columns[:2]).show() ,显示前三列。
df.show(vertical=True)
df.select(df.columns[:2]).show()
pb3s4cty14#
tquggr8v15#
55条答案
按热度按时间yquaqz181#
--------+
zfciruhq2#
+------+--------+--------+--------+
vzgqcmou3#
-+
gz5pxeao4#
-+
mcdcgff05#
--------+
ojsjcaue6#
+--------+
vi4fp9gy7#
-----+|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|巴黎|房产豪宅|房产地址|房产地址|巴黎|巴黎| | | | | |你知道吗+
1zmg4dgp8#
-+
dluptydi9#
-+
6qftjkof10#
------+
hgc7kmma11#
------+--------+
rdrgkggo12#
--+
uajslkp613#
您已经正确地读取了Dataframe,但是您的Dataframe太宽(列太多),无法放入窗口中,因此行被 Package 并导致混乱的输出。
如果您想要更整洁的输出,请尝试
df.show(vertical=True)
,或选择要显示的列,例如df.select(df.columns[:2]).show()
,显示前三列。pb3s4cty14#
tquggr8v15#
--+