使用以下命令时,会发生与参数列表大小相关的错误。
Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1
错误消息:
Spark-submit failed while reading data from s3 on EMR.
Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1 s3://bucket1/file2...s3://bucket1/file900 parameter ( --input) has 900 arguments
The length of argument list is 170 kb
It failed with /bin/bash : Arguments too long
我想知道怎样才能增加参数列表的大小。
1条答案
按热度按时间xdyibdwo1#
使用双引号防止bash扩展的路径参数“s3://bucket1/file1”