我正在使用下面的代码读取spark dataframe中的csv文件,但输出很乱:
df = spark.read.format('csv').options(header=True, inferSchema=True).csv('spark.csv')
输出:+
nsc4cvqm31#
-----+仅显示前5行我对大数据问题还很陌生,我正在努力学习如何正确地使用spark来实现这个目标。如何正确读取此Dataframe?有什么我没有的选择吗?
bgibtngc32#
---+
bhmjp9jg33#
-+
aoyhnmkz34#
------+--------+
vtwuwzda35#
--+
cgyqldqp36#
------+
vu8f3i0k37#
oxosxuxt38#
--------+
k10s72fa39#
----+
azpvetkf40#
jecbmhm341#
i1icjdpr42#
nfeuvbwi43#
6fe3ivhb44#
2o7dmzc545#
55条答案
按热度按时间nsc4cvqm31#
-----+仅显示前5行
我对大数据问题还很陌生,我正在努力学习如何正确地使用spark来实现这个目标。如何正确读取此Dataframe?有什么我没有的选择吗?
bgibtngc32#
---+
bhmjp9jg33#
-+
aoyhnmkz34#
------+--------+
vtwuwzda35#
--+
cgyqldqp36#
------+
vu8f3i0k37#
oxosxuxt38#
--------+
k10s72fa39#
----+
azpvetkf40#
jecbmhm341#
i1icjdpr42#
-+
nfeuvbwi43#
6fe3ivhb44#
------+
2o7dmzc545#
------+