工作 pyspark, Hive and Hadoop
输入/输出通道与核心数(cpu)之间是否有关系。
我的理解是
1 core = 2 channels = 1 input channel and 1 output channel.
如果是这种情况,那么在向表写入Dataframe时,输出通道将忙于向表写入数据 hadoop/hive
. 既然输出通道和核心(cpu)相关联,我可以称之为cpu密集型进程吗?
如果不是这样,那么请让我知道什么是cpu密集型任务,特别是在 pyspark
暂无答案!
目前还没有任何答案,快来回答吧!