from pyspark.streaming import StreamingContext
from pyspark import SparkContext
# Create a local StreamingContext with two working thread and batch interval of 1 second
sc = SparkContext('local[2]', 'Networkcount')
ssc = StreamingContext(sc, 10)
# Create a DStream that will connect to hostname:port, like localhost:7777
data_received = ssc.socketTextStream("127.0.0.1", 7776)
lines = data_received.map(lambda data: 1)
count = lines.reduce(lambda x, y: x + y)
count.pprint()
1条答案
按热度按时间mzillmmw1#
我使用下面的代码,给每个数据一个1,然后计算这些数据;就像一个简单的字数统计,但不是字数,我计算每个数据。
我是用下面的代码来实现的,但是如果你们有其他的解决方案,请随意添加;谢谢。