2020-11-26 17:47:55错误octetstreammetadatahandler:503 - scheme:文件java.io.ioexception:scheme:文件org.apache.hadoop.fs.filesystem.getfilesystemclass(filesystem)中没有文件系统。java:2421)在org.apache.hadoop.fs.filesystem.createfilesystem(filesystem。java:2428)在org.apache.hadoop.fs.filesystem.access$200(文件系统)。java:88)在org.apache.hadoop.fs.filesystem$cache.getinternal(filesystem。java:2467)在org.apache.hadoop.fs.filesystem$cache.get(filesystem。java:2449)在org.apache.hadoop.fs.filesystem.get(filesystem。java:367)在org.apache.hadoop.fs.filesystem.get(filesystem。java:166)在org.apache.hadoop.fs.filesystem.get(文件系统)。java:351)在org.apache.hadoop.fs.path.getfilesystem(path。java:287)在org.apache.orc.impl.readerimpl。java:342)在org.apache.orc.orcfile.createreader(orcfile。java:342)在com.alation.azure.data.lake.metadata.octetstreammetadatahandler.scanorcmetadata(octetstreammetadatahandler。java:484) 位于com.alation.azure.data.lake.metadata.octetstreammetadatahandler.getschema(octetstreammetadatahandler)。java:748)在com.alation.azure.data.lake.main.azurefileindexer.lambda$processazurefiles$0(azurefileindexer。java:199)在java.base/java.util.stream.foreachops$foreachop$ofref.accept(foreachops。java:184)在java.base/java.util.arraylist$arraylistspliterator.foreachremaining(arraylist。java:1494)在java.base/java.util.stream.abstractpipeline.copyinto(abstractpipeline。java:484)在java.base/java.util.stream.foreachops$foreachtask.compute(foreachops。java:291)在java.base/java.util.concurrent.countedcompleter.exec(countedcompleter。java:747)在java.base/java.util.concurrent.forkjointask.doexec(forkjointask。java:283)位于java.base/java.util.concurrent.forkjoinpool.runworker(forkjoinpool)。java:1603)在java.base/java.util.concurrent.forkjoinworkerthread.run(forkjoinworkerthread。java:175)
1条答案
按热度按时间vktxenjb1#
hadoop通常在服务器上运行,具有对文件系统的完全访问权限。
如果您打算发布来自浏览器ui的数据以进行索引,那么您的springbootweb应用程序可能可以使用springstream将数据写入rabbitmq。您可以向队列中写入一个侦听器,该侦听器将向hadoop服务器文件系统写入一个文件,并以这种方式对数据进行索引。
问题是您的web应用程序无法访问文件系统。它可能运行在一个容器中,没有访问磁盘的权限。
为什么要将spring启动应用程序部署为war文件?你不需要javaee应用服务器。最好将其部署为一个胖的、可执行的jar文件。这样你只需要一个javajvm。
不要将ui捆绑到spring引导控制器中。让它成为一个独立的微服务。将ui与服务分开。