我对hadoop和apachespark还很陌生。我是一个新手，正在尝试。现在，我想试试我的apachespark。为了做到这一点，我假设我必须在我的机器上安装一个名为apachespark的软件。我试图创建一个本地机器使用虚拟机，但我在这一点上迷失了方向。有没有资源可以帮助我在同一台机器上配置和安装spark和kafka？
sdnqo3pr1#
幸运的是，chrisfregley（来自ibmsparktc）有一个项目，其中包含了所有这些东西的docker映像（您可以在https://github.com/fluxcapacitor/pipeline/wiki ). 对于“真正的”生产部署，您可能想看看如何在yarn上部署spark或类似的东西—其部署选项在http://spark.apache.org/docs/latest/cluster-overview.html 与Kafka的整合在Kafka整合指南中有详细介绍http://spark.apache.org/docs/latest/streaming-kafka-integration.html . 欢迎来到精彩的Spark我希望这些能帮助你开始：）
1条答案
按热度按时间sdnqo3pr1#
幸运的是，chrisfregley（来自ibmsparktc）有一个项目，其中包含了所有这些东西的docker映像（您可以在https://github.com/fluxcapacitor/pipeline/wiki ). 对于“真正的”生产部署，您可能想看看如何在yarn上部署spark或类似的东西—其部署选项在http://spark.apache.org/docs/latest/cluster-overview.html 与Kafka的整合在Kafka整合指南中有详细介绍http://spark.apache.org/docs/latest/streaming-kafka-integration.html . 欢迎来到精彩的Spark我希望这些能帮助你开始：）