我在hortonworks数据平台2.2上使用spark,我得到以下错误…有什么想法吗?
# !/usr/bin/env python
import sys
import pyspark
from pyspark import SparkContext
if 'sc' not in globals():
#sc = SparkContext('local[4]', 'pyspark','map')
sc = SparkContext(appName="PythonKMeans")
nums = sc.map([23,232,1,232,43,43])
squared = nums.map(lambda x: x*x).collect()
for num in squared:
print num
1条答案
按热度按时间hsgswve41#
而不是
尝试
它告诉spark将序列分布在集群上,并从中创建rdd。然后可以在rdd上使用lambda函数调用map,就像在下一行中所做的那样。