我正在使用jupyter笔记本运行pyspark代码将csv文件导入cassandrav3.11.3。低于错误。
... 1 more[![enter image description here][1]][1]
xienkqul1#
如果没有完整的跟踪，很难确切地知道这是失败的地方。您粘贴的方法只是p4yj Package 器方法，我们确实需要查看底层的java异常。据我所知，您似乎还试图在c写操作中使用一些不受支持的选项。例如，“mode”-“dropmalformed”不是有效的c连接器选项。Dataframe编写器和读取器选项是源代码特定的，因此很遗憾，您无法混合和匹配。这使我认为正在写入的数据实际上有一个或两个格式不正确的日期字符串，当试图写入损坏的记录时，这段代码正在消亡。解决这个问题的一种方法是尝试在csv read上进行日期转换，我相信它确实支持dropmalformed样式的解析选项。
alen0pnh2#
Pypark代码我已附上图片：
[![pyspark_code][1]][1]
任何输入。。。
2条答案
按热度按时间xienkqul1#
如果没有完整的跟踪，很难确切地知道这是失败的地方。您粘贴的方法只是p4yj Package 器方法，我们确实需要查看底层的java异常。
据我所知，您似乎还试图在c写操作中使用一些不受支持的选项。例如，“mode”-“dropmalformed”不是有效的c连接器选项。Dataframe编写器和读取器选项是源代码特定的，因此很遗憾，您无法混合和匹配。
这使我认为正在写入的数据实际上有一个或两个格式不正确的日期字符串，当试图写入损坏的记录时，这段代码正在消亡。解决这个问题的一种方法是尝试在csv read上进行日期转换，我相信它确实支持dropmalformed样式的解析选项。
alen0pnh2#
Pypark代码我已附上图片：
任何输入。。。
