如何增加spark中参数列表的大小?

4smxwvx5  于 2021-07-14  发布在  Spark
关注(0)|答案(1)|浏览(410)

使用以下命令时,会发生与参数列表大小相关的错误。

Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1

错误消息:

Spark-submit failed while reading data from s3 on EMR.

Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1 s3://bucket1/file2...s3://bucket1/file900 parameter ( --input) has 900 arguments

The length of argument list is 170 kb

It failed with /bin/bash : Arguments too long

我想知道怎样才能增加参数列表的大小。

xdyibdwo

xdyibdwo1#

使用双引号防止bash扩展的路径参数“s3://bucket1/file1”

相关问题