scala Apache Spark问题集需要的建议

nbysray5  于 2023-08-05  发布在  Scala
关注(0)|答案(3)|浏览(148)

我正在努力提高我的Apache Spark技能。我想知道是否有任何网站为使用Apache Spark和Scala的人提供编码问题和解决平台。我试着在HackerRank,LeetCode,TopCoder等网站上查找,但我看不到Spark有任何问题。我知道Databricks和Cloudera分别有免费的笔记本和虚拟机用于练习。如果我有一系列问题要解决,我会感到很舒服,而且我会更有效率。
如果没有网站提供这种设施,有人可以给予我一个更好的方法,我可以练习和提高我的技能?.

2hh7jdfx

2hh7jdfx1#

您可以尝试免费笔记本:https://databricks.com获取免费数据源的好网站:https://www.kaggle.com在这里你也可以找到比赛(https://www.kaggle.com/competitions
对于Spark,我还没有找到一个类似于HackerRank的网站,在那里你有一系列问题需要解决,并从这些在线评委那里获得结果。但是你可以尝试Udemy,coursera等课程,他们通常会提供例子和支持与讲师的问题。

4szc88ey

4szc88ey2#

你所需要的只是一台Linux机器,这样你就可以设置Spark环境。我建议注册Google Cloud Pltform(GCP)。您可以使用Google帐户创建一个免费帐户,他们提供12个月300美元(以先用完者为准)。创建帐户后,只需点击几下并进行基本设置(如核心数、RAM、HDD、操作系统等),即可创建一个Google Compute Engine(GCE),它基本上是一个虚拟机。
然后,您可以通过以下教程链接安装Spark:
DEZYRE
DATAFLAIR
快乐学习!干杯!

ocebsuys

ocebsuys3#

使用Google、AWS等公共云的问题。你将花费大量的时间来安装和配置你的Hadoop集群、Scala、Spark、Notebooks。如果您对管理员级别的任务感兴趣,请选择公共云。否则,使用预配置的服务器并立即开始学习编码。我强烈建议访问一个已经建立的服务提供商,如https://cloudxlab.com。我用它来做我的研究和学习。他们提供了一套完整的工具,如Hadoop集群,Spark,Kafka,Pig,Hive,Storm,Jupyter notebook等。

相关问题