spark attributeerror:“sparkcontext”对象没有属性“map”

mfuanj7w  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(460)

我在hortonworks数据平台2.2上使用spark,我得到以下错误…有什么想法吗?


# !/usr/bin/env python

import sys
import pyspark
from pyspark import SparkContext

if 'sc' not in globals():
    #sc = SparkContext('local[4]', 'pyspark','map')
    sc = SparkContext(appName="PythonKMeans")

nums = sc.map([23,232,1,232,43,43])
squared = nums.map(lambda x: x*x).collect()
for num in squared:
    print num
hsgswve4

hsgswve41#

而不是

nums = sc.map([23,232,1,232,43,43])

尝试

nums = sc.parallelize([23,232,1,232,43,43])

它告诉spark将序列分布在集群上,并从中创建rdd。然后可以在rdd上使用lambda函数调用map,就像在下一行中所做的那样。

相关问题