我有一个动态Dataframe,其中包含错误记录。请找到下面的代码。
val rawDataFrame = glueContext.getCatalogSource(database = rawDBName, tableName = rawTBLName).getDynamicFrame();
println(s"RAW_DF-----count: ${rawDataFrame.count} errors: ${rawDataFrame.errorsCount}")
上面的print语句打印如下。
RAW_DF-----count: 168456 errors: 4
我需要创建一个动态Dataframe,其中只包含168456条记录,我需要消除4个错误记录。请帮助。
1条答案
按热度按时间mrwjdhj31#
错误记录未转换为spark的Dataframe,因此请尝试将dynamicframe转换为df并返回: