这个问题在这里已经有答案了:
获取超过20行并在spark shell中显示列的完整值(2个答案)
两年前关门了。
我正在尝试读取spark 1.6.1中的配置单元表。一切都按要求进行,只有spark中的表格显示是有线的。配置单元表由100 mn个奇数记录组成。
import os
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
from pyspark.sql import HiveContext
hive_context = HiveContext(sc)
db= hive_context.sql("SELECT * FROM HIVE_DB.HIVE_TBL").show()
如您所见,我编写了查询以查看整个100mn条记录,但输出仍然是20条记录。我的问题:
这是spark 1.6.1的某种限制吗?
如果是,在更高版本的spark中是否排除了限制?
如果以上都没有,那么有没有办法更改此配置以查看任何记录?
我也试过下面的问题:
SELECT * FROM HIVE_DB.HIVE_TBL LIMIT 200
还是老样子。
2条答案
按热度按时间5m1hhzi41#
show()
-仅显示20行。因此如果你指定show()
到一个变量db
,它将只有20个。删除
show()
分配和使用期间db.limit(n)
限制行数。pdsfdshx2#
在scala中,下面的代码可以工作