我安装了spark，当尝试运行它时，我得到了错误：warn procfsmetricsgetter:exception当尝试计算pagesize时，processtree度量的结果报告被停止有人能帮我吗？
wd2eg0qa1#
我也遇到了同样的问题，因为python路径没有添加到系统环境中。我在环境中添加了这个，现在它可以完美地工作了。添加 PYTHONPATH 值为的环境变量：
PYTHONPATH
%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-<version>-src.zip;%PYTHONPATH%
帮助解决了这个问题。只要检查一下你的电脑里有什么py4j版本就行了 spark/python/lib folder .
spark/python/lib folder
vfh0ocws2#
我收到了同样的消息，在windows10上运行spark3.0.1，使用scala2.12.10。这实际上不是一个错误，因为它结束了程序的执行。这是一个与linux机器上的/proc文件系统相关的警告。如果您也在windows机器上，答案可能是，引用wing yew poon@apache：“出现警告的原因是命令”getconf pagesize“在windows上运行时不是有效的命令，因此捕获了一个异常。”（来自spark jira问题）。如果您的程序在抛出此异常消息后立即失败，则是由于其他原因。在我的例子中，spark在发出警告后立即崩溃了：
20/11/13 12:41:51 ERROR MicroBatchExecution: Query [id = 32320bc7-d7ba-49b4-8a56-1166a4f2d6db, runId = d7cc93c2-41ef-4765-aecd-9cd453c25905] terminated with error org.apache.spark.SparkException: Job 1 cancelled because SparkContext was shut down
通过将spark.executor.processtreemetrics.enabled设置为false，可以隐藏此警告。再次引用潘先生的话，“你看到这个警告是个小错误。但可以放心地忽略它。”
2条答案
按热度按时间wd2eg0qa1#
我也遇到了同样的问题，因为python路径没有添加到系统环境中。我在环境中添加了这个，现在它可以完美地工作了。
添加
PYTHONPATH值为的环境变量：帮助解决了这个问题。只要检查一下你的电脑里有什么py4j版本就行了
spark/python/lib folder.vfh0ocws2#
我收到了同样的消息，在windows10上运行spark3.0.1，使用scala2.12.10。这实际上不是一个错误，因为它结束了程序的执行。这是一个与linux机器上的/proc文件系统相关的警告。
如果您也在windows机器上，答案可能是，引用wing yew poon@apache：“出现警告的原因是命令”getconf pagesize“在windows上运行时不是有效的命令，因此捕获了一个异常。”（来自spark jira问题）。
如果您的程序在抛出此异常消息后立即失败，则是由于其他原因。在我的例子中，spark在发出警告后立即崩溃了：
通过将spark.executor.processtreemetrics.enabled设置为false，可以隐藏此警告。再次引用潘先生的话，“你看到这个警告是个小错误。但可以放心地忽略它。”