我需要明白，如果我在代码中使用hadoop conf object，那么所有代码都是在hadoop环境中执行的还是在普通环境中执行的，即使我的代码中没有hadoop操作。我已经编写了一个独立的java模块并执行了正常的操作，但是我需要hadoop conf对象对数据应用内置的hadoop压缩，并且只将数据存储在正常的位置。我以hadoopjar的名称运行jar
nkoocmlb1#
类路径中只有hadoopjar的代码不会在hadoop环境（可以是集群、伪分布式或本地）上执行；即使您有一个集群并提供了正确的配置（并且可以使用空的配置对象）。hadoop环境的入口点是hdfs操作和运行作业。
1条答案
按热度按时间nkoocmlb1#
类路径中只有hadoopjar的代码不会在hadoop环境（可以是集群、伪分布式或本地）上执行；即使您有一个集群并提供了正确的配置（并且可以使用空的配置对象）。hadoop环境的入口点是hdfs操作和运行作业。