我使用aws glue作为etl工作来转换来自s3的数据,并使用书签将数据写入另一个s3存储桶。
我收到一个计划作业的意外异常,该作业在前一天运行时没有任何问题:
Traceback (most recent call last):
File "my_script.py", line 123, in <module>
job.commit()
[...]
py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.commit.
: com.amazonaws.services.gluejobexecutor.model.InternalServiceException: Item size to update has exceeded the maximum allowed size
(Service: AmazonDynamoDBv2; Status Code: 400; Error Code: ValidationException; Request ID: /)
(Service: AWSGlueJobExecutor; Status Code: 500; Error Code: InternalServiceException; Request ID: /)
我在错误消息中看到提到了dynamodb,但我根本没有使用这个服务(所以我怀疑它是在glue中内部使用的)。
是什么导致了这个异常?
1条答案
按热度按时间zazmityj1#
我从glue控制台重置了job bookmark,问题就解决了,成功地执行了作业