hdinsight actionscript安装spark 1.2

vatpfxk5 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(352)

有人知道如何为hdisights创建actionscript吗？我现在正在使用actoinscript安装spark1.0.2，但是希望集群上的spark1.2.x能够获得更多的配置单元支持。当我试图通过修改微软提供的actionscript来用1.2创建一个spark集群时，我已经阅读了hdinsight的脚本action development。这样做之后，我得到了一个错误，spark不理解文件url'wasb://'，它需要采用'hdfs://'格式。在这篇文章中，它讨论了如何配置自定义组件以使用wasb，它说：

The custom components that you install on the cluster nodes might have a 
default configuration to use HDFS storage. You should change the 
configuration to use Azure Storage Blob (WASB) instead. On a cluster 
re-image, the HDFS file system gets formatted and you would lose any data 
that is stored there. Using WASB instead ensures that your data will be 
retained.

在我看来，这似乎是在谈论我所犯的错误。有人知道如何编译支持（wasb）的spark或者如何配置它吗？

hadoop hdfs apache-spark Azure azure-hdinsight

来源：https://stackoverflow.com/questions/28460605/hdinsight-actionscript-install-spark-1-2

2条答案

按热度按时间

vsmadaxz1#

试试下面的powershell-它对我很好。您可能需要先更新azure powershell库。

New-AzureHDInsightClusterConfig -ClusterSizeInNodes $NumClusterNodes -HeadNodeVMSize $VmSize |
Set-AzureHDInsightDefaultStorage -StorageAccountName $DefaultStorageAccountFqdn -StorageAccountKey $storageAccountKey -StorageContainerName $hadoopContainer |
Add-AzureHDInsightScriptAction -Name "Install Spark" -ClusterRoleCollection HeadNode -Uri https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1 |
New-AzureHDInsightCluster -Credential $HdInsightCreds -Name $clusterName -Location $MyClusterLocation -Version $MyClusterVersion

赞(0）回复(0）举报 2021-06-03

ecr0jaav2#

微软昨天似乎添加了对ApacheSpark1.2的“支持”。如果您使用新版本的hdinsight 3.2并使用这个新的操作脚本，它看起来会为您安装1.2。我正在测试！

赞(0）回复(0）举报 2021-06-03