什么是pyspark中的cpu密集型任务?

ipakzgxi  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(347)

工作 pyspark, Hive and Hadoop 输入/输出通道与核心数(cpu)之间是否有关系。
我的理解是

1 core = 2 channels = 1 input channel and 1 output channel.

如果是这种情况,那么在向表写入Dataframe时,输出通道将忙于向表写入数据 hadoop/hive . 既然输出通道和核心(cpu)相关联,我可以称之为cpu密集型进程吗?
如果不是这样,那么请让我知道什么是cpu密集型任务,特别是在 pyspark

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题