将图像(.png或.jpg)从kafkaproducer发送/处理到kafkaconsumer？

dldeef67 于 2021-06-06 发布在 Kafka

关注(0)|答案(1)|浏览(308)

这个问题在这里已经有答案了：

Kafka制作发送图片（2个答案）
去年关门了。
我对kakfa/spark流媒体相当陌生。我的用例是通过kafka生产者发送一个图像，然后从kafka消费者那里捕获它。我做了一些研究，发现图像必须转换成二进制或字节格式，但找不到任何合适的来源继续它。
到目前为止我所做的：

1.Started zookeeper
2.Started server
3.created a new topic
4.started a producer to send(eg: JSON) - kafka-console-producer.sh --broker-list localhost:9092 --topic send_json < materials.json
5.started a consumer to recieve

如何以类似的方式发送.jpg或.png文件？scala还是Pypark

apache-kafka

来源：https://stackoverflow.com/questions/55571575/send-process-a-image-png-or-jpg-from-kafkaproducer-to-kafkaconsumer

1条答案

按热度按时间

b09cbbtk1#

最小示例（scala）：

val props = new Properties()
props.put("bootstrap.servers", "localhost:9092")
props.put("key.serializer", "org.apache.kafka.common.serialization.LongSerializer")
props.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer")

val producer = new KafkaProducer(props)
val data = Files.readAllBytes(Paths.get("/path/to/file"))

val record = new ProducerRecord[Long, Array[Byte]]("yourtopic" , data)
producer.send(record)
producer.close

如果你的图片变大了，记住这个，我怎么能用Kafka发送大信息（超过15mb）？
如果要使用kafka控制台生成器：

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic < my_file.txt

赞(0）回复(0）举报 2021-06-06

我来回答

将图像(.png或.jpg)从kafkaproducer发送/处理到kafkaconsumer？

1条答案

相关问题

热门标签

最新问答