从网上的各种来源,我了解到,风暴有一些机器学习能力(通过萨摩亚为例),但它总是为在线学习?推论问题:如果我说storm不适合更经典的批处理学习,是因为这种处理固有的迭代性质,我错了吗?谢谢你的澄清。
jv4diomz1#
它之所以适用于在线学习,是因为它是一种逐个处理数据的解决方案,您可以通过设置一些并行化(更多的工作流程和节点)来扩展。您通常会使用历史数据进行批量学习以构建或训练模型,但对于这种情况,逐个处理数据并不是最佳选择。由于您可能需要处理数月的数据,因此需要对其进行批处理以优化流程。这就是spark等其他解决方案的用武之地。
1条答案
按热度按时间jv4diomz1#
它之所以适用于在线学习,是因为它是一种逐个处理数据的解决方案,您可以通过设置一些并行化(更多的工作流程和节点)来扩展。
您通常会使用历史数据进行批量学习以构建或训练模型,但对于这种情况,逐个处理数据并不是最佳选择。由于您可能需要处理数月的数据,因此需要对其进行批处理以优化流程。这就是spark等其他解决方案的用武之地。