使用pyspark从redis读取特定密钥

t98cgbkg 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(378)

我正在尝试使用pyspark从redis读取一个特定的密钥。根据文档，我没有找到任何特定的命令来读取特定的键。使用以下代码，我可以从redis读取所有数据：

testid = spark.read.format("org.apache.spark.sql.redis")\
.option("table",'testing123')\
.option("key.column","id")\
.load()

好心的建议

redis apache-spark pyspark spark-redis

来源：https://stackoverflow.com/questions/66116829/read-specific-key-from-redis-using-pyspark

1条答案

按热度按时间

webghufk1#

你可以试试 keys.pattern . 从文档中：
要读取redis散列，必须提供一个keys模式 .option("keys.pattern", keysPattern) 选项。应该显式指定Dataframe架构，或者可以从随机行推断Dataframe架构。
[…]spark redis尝试根据密钥模式提取密钥：
如果图案以 * 它是唯一的通配符，后面的子串将被提取
否则就无法提取-密钥保持原样。

testid = spark.read.format("org.apache.spark.sql.redis") \
.option("keys.pattern", "keyPattern:*") \
.option("key.column","id") \
.option("infer.schema", "true") \
.load()

赞(0）回复(0）举报 2021-07-13

我来回答

使用pyspark从redis读取特定密钥

1条答案

相关问题

热门标签

最新问答