摄取Kafka的Druid：过滤数据

6g8kf2rb 于 2021-06-07 发布在 Kafka

关注(0)|答案(2)|浏览(466)

在从Kafka到Druid的摄取过程中，是否可以按维度值过滤数据？
e、 g.考虑尺寸： version ，可能有以下值： v1 , v2 , v3 我只想 v2 加载。
我意识到可以使用spark/flink/kafka流来实现，但也许有现成的解决方案

apache-kafka druid data-ingestion

来源：https://stackoverflow.com/questions/42903826/druid-with-kafka-ingestion-filtering-data

2条答案

按热度按时间

ltqd579y1#

你可以这样做 transformSpec 在摄入过程中。
http://druid.io/docs/latest/ingestion/transform-spec.html
根据文件：
转换规范允许Druid在摄取期间过滤和转换输入数据。
任何查询筛选器都可以应用于此。
示例用法 NOT 过滤器：

"transformSpec": {
  "filter": {
    "type": "and",
    "fields": [
      {
        "type": "not",
        "field": {
          "type": "selector",
          "dimension": "my_dimension",
          "value": "filter_me"
        }
      },
      {
        "type": "not",
        "field": {
          "type": "selector",
          "dimension": "my_dimension",
          "value": "filter_me_also"
        }
      }
    ]
  },
  "transforms": []
}