我在Databricks中运行一些大型作业,目前包括清点数据湖。我尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但随后我看到了以下内容:*** WARNING: skipped 494256 bytes of output ***
然后再打印280行。
我猜有一个控件可以改变这一点,对吧。我当然希望如此。这是专为处理大数据而设计的,而不是~280条记录。我知道庞大的数据集很容易使浏览器崩溃,但常见的是,这基本上什么都不是。
我在Databricks中运行一些大型作业,目前包括清点数据湖。我尝试打印前缀(子文件夹)中的所有blob名称。这些子文件夹中有很多文件,我打印了大约280行文件名,但随后我看到了以下内容:*** WARNING: skipped 494256 bytes of output ***
然后再打印280行。
我猜有一个控件可以改变这一点,对吧。我当然希望如此。这是专为处理大数据而设计的,而不是~280条记录。我知道庞大的数据集很容易使浏览器崩溃,但常见的是,这基本上什么都不是。
2条答案
按热度按时间nkhmeac61#
经过更多的研究,我偶然发现了一些对我有效的东西。
此外,这将显示 Dataframe 的内容,
这将生成您在正上方看到的视图。
ykejflvf2#
你可以在你的驱动程序的日志中检查所有的打印值
第一节第一节第一节第二节第一节