我有一个框架,当我显示一个特定列的值时,它给我6个recs,但是当作为一个整体显示时,它显示5个recs。无法找出原因。
df = spark.sql("SELECT * FROM fin WHERE __file_name__ = 'MAT1_2022_07.csv' and RefDocNo LIKE '360237588%'")
df.column("RefDocNo").display() --Gives 6 recs
df.display() --Gives 5 recs.
字符串
请注意:df.count()给出6个rec。也尝试了df.display(n= df.count()),但仍然看到5个rec
1条答案
按热度按时间uurv41yg1#
Databricks对
display
功能有一些限制(不幸的是,我找不到确切的规格)。默认情况下,它应该显示多达10,000条记录。但是,如果你的一个或一些列有一个很长的字符串,那么这10,000条记录将减少到一些较小的数字。因此,请尝试识别你有哪个长字符串列,尝试在显示之前删除它,你会看到你所有的数据。