python-3.x Databricks只能打印大约280行数据

edqdpe6u  于 2023-02-06  发布在  Python
关注(0)|答案(2)|浏览(113)

我在Databricks中运行一些大型作业,目前包括清点数据湖。我尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但随后我看到了以下内容:*** WARNING: skipped 494256 bytes of output ***然后再打印280行。
我猜有一个控件可以改变这一点,对吧。我当然希望如此。这是专为处理大数据而设计的,而不是~280条记录。我知道庞大的数据集很容易使浏览器崩溃,但常见的是,这基本上什么都不是。

nkhmeac6

nkhmeac61#

经过更多的研究,我偶然发现了一些对我有效的东西。

此外,这将显示 Dataframe 的内容,

display(df)

这将生成您在正上方看到的视图。

ykejflvf

ykejflvf2#

你可以在你的驱动程序的日志中检查所有的打印值

第一节第一节第一节第二节第一节

相关问题