我试图在aws keyspace上读写一些数据,但出现以下消息。
版本:Spark:2.4.6 cassandra 连接器:2.5.2脚本:2.11.10新旧版本问题也会出现。
bf1o4zei1#
这个错误是由于无法看到system.peers表造成的。Spark需要peers表信息来获取令牌信息。1.检查它们是否具有读取系统表的访问权限。如果您使用的是公共端点,则应该有9个;如果您使用的是VPCE,则每个可用性区域都应该有一个。SELECT * FROM system.peers如果您使用的是vpc端点,请检查您是否设置了正确的权限。
SELECT * FROM system.peers
{ "Sid":"ListVPCEndpoints", "Effect":"Allow", "Action":[ "ec2:DescribeNetworkInterfaces", "ec2:DescribeVpcEndpoints" ], "Resource":"*" }
下面的示例是如何使用Spark/Glue将Keyspaces数据导出到S3. https://github.com/aws-samples/amazon-keyspaces-examples/tree/main/scala/datastax-v4/aws-glue/export-to-s3
1条答案
按热度按时间bf1o4zei1#
这个错误是由于无法看到system.peers表造成的。Spark需要peers表信息来获取令牌信息。
1.检查它们是否具有读取系统表的访问权限。如果您使用的是公共端点,则应该有9个;如果您使用的是VPCE,则每个可用性区域都应该有一个。
SELECT * FROM system.peers
如果您使用的是vpc端点,请检查您是否设置了正确的权限。
下面的示例是如何使用Spark/Glue将Keyspaces数据导出到S3. https://github.com/aws-samples/amazon-keyspaces-examples/tree/main/scala/datastax-v4/aws-glue/export-to-s3