我们在pyspark中有一个场景,在这里我们访问mysql db来获取当前的批处理细节。这将返回一个作业的单个记录。为此,我们应该如何使用mysql并保持连接单一,而不是使用sqlcontext.read.format(“jdbc”)。我相信sqlcontext.read.format(“jdbc”)将为每个任务创建mysql示例。我觉得一个更好的选择是从驱动程序本身访问mysql并广播变量。任何建议都会有帮助
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!