我想索引一个主题从Kafka在avro到elasticsearch格式，但我有问题，我的时间戳字段被elasticsearch识别为日期格式字段。
我对连接器使用了以下配置。
{
"name": "es-sink-barchart-10",
"config": {
"connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
"value.converter": "io.confluent.connect.avro.AvroConverter",
"key.converter": "io.confluent.connect.avro.AvroConverter",
"key.converter.schema.registry.url": "http://localhost:8081",
"value.converter.schema.registry.url": "http://localhost:8081",
"connection.url": "http://localhost:9200",
"type.name":"type.name=kafka-connect",
"topics": "exchange_avro_01",
"topic.index.map": "exchange_avro_01:exchange_barchart",
"key.ignore": "true"
}
}原始字段是bigint类型，我希望目标字段是日期类型，并且具有elasticsearch的任何有效格式。我定义了一个动态模板，试图通过以下方式解决它：
curl -XPUT "http://localhost:9200/_template/kafkaconnect/" -H 'Content-Type: application/json' -d'
{
"index_patterns": "exchange*",
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
},
"mappings": {
"kafka-connect": {
"dynamic_templates": [
{
"dates": {
"match_mapping_type": "long",
"match": "TIME",
"mapping": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
}
}
}
]
,
"properties": {
"CLOSE": {
"type": "double"
},
.
.
.
}
}
}
}
}'当我加载上面描述的连接器时，没有任何内容被索引到elasticsearch。
有什么帮助吗？
1条答案
按热度按时间wlzqhblo1#
如果你的消息来源是一个bigint，那么它可能是一个新纪元。如果这是一个时代，那么这就行不通了：
因为你告诉elasticsearch日期格式是
yyyy-MM-dd HH:mm:ss（事实并非如此）。因此，请尝试以下方法（暂时省略自定义Map；先让它工作，然后再把它加回去）：
另请参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-field-mapping.html#date-检测
没有索引到elasticsearch。
检查kafka connect worker日志和elasticsearch日志是否有任何错误。