spark attributeerror:“sparkcontext”对象没有属性“map”

mfuanj7w  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(490)

我在hortonworks数据平台2.2上使用spark,我得到以下错误…有什么想法吗?

  1. # !/usr/bin/env python
  2. import sys
  3. import pyspark
  4. from pyspark import SparkContext
  5. if 'sc' not in globals():
  6. #sc = SparkContext('local[4]', 'pyspark','map')
  7. sc = SparkContext(appName="PythonKMeans")
  8. nums = sc.map([23,232,1,232,43,43])
  9. squared = nums.map(lambda x: x*x).collect()
  10. for num in squared:
  11. print num
hsgswve4

hsgswve41#

而不是

  1. nums = sc.map([23,232,1,232,43,43])

尝试

  1. nums = sc.parallelize([23,232,1,232,43,43])

它告诉spark将序列分布在集群上,并从中创建rdd。然后可以在rdd上使用lambda函数调用map,就像在下一行中所做的那样。

相关问题