Apache Spark 找不到subnetId的S3端点或NAT网关

kx5bkwkv  于 2022-12-23  发布在  Apache
关注(0)|答案(5)|浏览(187)

我无法将AWS Glue与RDS连接
子网ID的VPC S3端点验证失败:子网-7e8a2.VPC:vpc-4d 2d 25。原因:找不到subnetId的S3终结点或NAT网关:Vpc vpc-4d 225中子网-7ea32。

0lvr5msh

0lvr5msh1#

检查您是否设置了Amazon S3 VPC端点,这是AWS Glue所必需的。
有关如何设置S3 VPC端点的详细信息,请参阅以下AWS文档:
https://docs.aws.amazon.com/glue/latest/dg/vpc-endpoints-s3.html

p4rjhz4m

p4rjhz4m2#

我犯的错误是我为Glue而不是S3设置了一个端点。检查您的VPC端点,确保它是为S3创建的。

f87krz0w

f87krz0w3#

这为我解决了问题:
https://aws.amazon.com/premiumsupport/knowledge-center/glue-s3-endpoint-validation-failed/

如何解决AWS Glue错误“VPC S3端点验证SubnetId失败”?

如果满足以下条件,则会出现此错误:

  • 您正在将AWS Glue连接用于AWS Glue作业或AWS Glue爬网程序。
  • 为AWS Glue连接配置的子网没有Amazon Simple Storage Service(Amazon S3)虚拟私有云(VPC)端点或NAT网关设置。
    设置S3 VPC网关端点

要设置S3 VPC网关端点,请执行以下操作:
1.打开Amazon VPC控制台。
1.在导航窗格中,选择端点。
1.选择创建端点。
1.对于服务名称,选择com.amazonaws.us-east-1.s3。确保类型列指示网关。注意:请确保将us-east-1替换为您选择的AWS区域。
1.对于VPC,请选择要在其中创建端点的VPC。
1.对于配置路由表,将自动添加到S3 VPC端点的路由。
1.对于策略,可以保留默认选项“完全访问”。
1.选择创建端点。

z9smfwbn

z9smfwbn4#

其中一个可能的原因可能是由于正确的路由表没有关联到您的子网。
确保S3的路由表**(包含前缀列表**)的VPC端点与为AWS Glue连接配置的**子网相关联。您可以检查此项以确保在下方窗格的“路由表”选项卡上的“关联ID”列中列出正确的子网。如果您没有所需的子网,您可以通过单击顶部的“操作”按钮并从下拉列表中选择“管理路由表”来更新它。

exdqitrt

exdqitrt5#

AWS Glue不需要S3 VPC端点。当你创建爬虫时,你可以选择性地定义一个连接。或者你可以将此部分留空,它将工作。如果你添加了一个连接,但没有做正确的设置,你可能会得到你提到的错误。请参见屏幕截图。
注意:上面的语句是针对S3数据存储的。如果你需要抓取一个RDS数据库,那么你需要一个连接。根据你的错误信息,我假设你使用S3作为数据存储。

相关问题