使用Spark连接器读写aws键盘时出现问题

8zzbczxx  于 2022-11-05  发布在  Cassandra
关注(0)|答案(1)|浏览(119)

我试图在aws keyspace上读写一些数据,但出现以下消息。

版本:Spark:2.4.6 cassandra 连接器:2.5.2脚本:2.11.10
新旧版本问题也会出现。

bf1o4zei

bf1o4zei1#

这个错误是由于无法看到system.peers表造成的。Spark需要peers表信息来获取令牌信息。
1.检查它们是否具有读取系统表的访问权限。如果您使用的是公共端点,则应该有9个;如果您使用的是VPCE,则每个可用性区域都应该有一个。
SELECT * FROM system.peers
如果您使用的是vpc端点,请检查您是否设置了正确的权限。

{
         "Sid":"ListVPCEndpoints",
         "Effect":"Allow",
         "Action":[
            "ec2:DescribeNetworkInterfaces",
            "ec2:DescribeVpcEndpoints"
         ],
         "Resource":"*"
      }

下面的示例是如何使用Spark/Glue将Keyspaces数据导出到S3. https://github.com/aws-samples/amazon-keyspaces-examples/tree/main/scala/datastax-v4/aws-glue/export-to-s3

相关问题