我正在看文件https://www.geomesa.org/documentation/user/convert/shp.html 但是我找不到使用geomesa/spark读取shapefile(在我的例子中存储在s3上)的方法。你知道吗?
zbdgwd5y1#
有三种广泛的选择。geomesa通过“rdd提供程序”将数据加载到spark中。链接到的转换器可以通过converterrdd提供程序在spark中使用(https://www.geomesa.org/documentation/user/spark/providers.html#converter-rdd供应商)这可能只是工作。还有一个geotools数据存储rdd提供程序实现(https://www.geomesa.org/documentation/user/spark/providers.html#geotools-rdd提供程序),可与geotools shapefiledatastore一起使用(https://docs.geotools.org/stable/userguide/library/data/shape.html)这里的工作是排列正确的jar和参数。如果您可以使用geotools shapefile数据存储,那么可以直接在spark中使用它将特性加载到内存中,然后整理如何生成rdd/dataframe(这有点跳过rdd提供者位的使用。)
1条答案
按热度按时间zbdgwd5y1#
有三种广泛的选择。
geomesa通过“rdd提供程序”将数据加载到spark中。链接到的转换器可以通过converterrdd提供程序在spark中使用(https://www.geomesa.org/documentation/user/spark/providers.html#converter-rdd供应商)这可能只是工作。
还有一个geotools数据存储rdd提供程序实现(https://www.geomesa.org/documentation/user/spark/providers.html#geotools-rdd提供程序),可与geotools shapefiledatastore一起使用(https://docs.geotools.org/stable/userguide/library/data/shape.html)这里的工作是排列正确的jar和参数。
如果您可以使用geotools shapefile数据存储,那么可以直接在spark中使用它将特性加载到内存中,然后整理如何生成rdd/dataframe(这有点跳过rdd提供者位的使用。)