将cacerts文件传递给gcp cloud composer dataprocsparkooperator上apache airflow dag中的sparksubmit

mec1mxoz  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(266)

我试图将cacerts文件作为--file参数传递给dataprocsparkooperator中的dag,但失败了,出现以下异常
原因:org.elasticsearch.hadoop.eshadopillegalargumentexception:应在[location]找到密钥库文件,但无法找到。请确保它在类路径上可用,如果不可用,请确保指定了有效的uri。位于org.elasticsearch.hadoop.rest.commonhttp.sslsocketfactory.loadkeystore(sslsocketfactory)。java:195)在org.elasticsearch.hadoop.rest.commonhttp.sslsocketfactory.loadtrustmanagers(sslsocketfactory)上。java:226)在org.elasticsearch.hadoop.rest.commonhttp.sslsocketfactory.createsslcontext(sslsocketfactory。java:173)
这里是dag操作符,我在其中传递cacerts作为文件参数

submit_spark = DataProcSparkOperator(
    task_id='XXXXXXXXX',
    job_name=XXXXXXXX",
    dataproc_spark_jars=XXXXXXX,
    cluster_name=XXXXXXXXXX,
    service_account=XXXXXXXXX,
    region=XXXXXXXXX,
    zone=XXXXXXXXX,
    gcp_conn_id=XXXXXXXX,
    files=['XXXXXXXXXXX/cacerts'],
    main_class=XXXXXXXXXXX,
    arguments=XXXXXXXXXXXx,
    dag=XXXXXXXXXXX,

)
它与spark submit命令一起工作,并用--file参数传递cacerts文件

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题