问题类型
特性请求
你是否在TF nightly版本中复现了这个bug?
是的
来源
源代码
Tensorflow版本
2.11
自定义代码
是的
OS平台和发行版
- 无响应*
移动设备
- 无响应*
Python版本
- 无响应*
Bazel版本
- 无响应*
GCC/编译器版本
- 无响应*
CUDA/cuDNN版本
- 无响应*
GPU型号和内存
- 无响应*
当前行为？
目前，没有随机访问读取TFRecord文件的选项。当处理不适合内存的大型(长)数据集时，这可能会非常有用，例如，可以创建一个proto字节偏移量的索引，然后从它们的偏移量处读取protos。这将使大型数据集完全 Shuffle 。
我在Git中发现了一个RecordRandomReader类(尽管它在TF网页上没有文档),似乎就是这么做的——只是它不是tf操作，所以在不先将其 Package 到py_function中的情况下，无法将其添加到tf.data管道中，这会严重限制其性能。
因此，我们能否有一个类似RecordRandomReader的tf操作呢？谢谢！
2条答案
按热度按时间y1aodyip1#
RecordRandomReader操作是TensorFlow IO库的一部分，它提供了从各种文件格式和数据源读取数据的支持。
如果您在使用RecordRandomReader操作时遇到问题，可以尝试以下几个步骤来解决：
确保在RecordRandomReader操作中指定的数据源是正确的且可访问的。
检查数据源的格式是否与RecordRandomReader操作兼容。RecordRandomReader操作旨在从数据源读取记录，因此确保数据源以记录格式进行格式化非常重要。
如果您在使用TensorFlow IO库时遇到问题，您可能需要查看TensorFlow IO GitHub仓库中是否有已知的问题和潜在的解决方案。
如果您遇到错误消息或意外行为，请尝试提供一个最小的、可复现的例子，以演示问题。这将帮助其他人更有效地理解和诊断问题。
注意：这些步骤是通用的，可能无法解决所有情况的问题。如果问题仍然存在，我建议联系TensorFlow支持或TensorFlow用户社区以获得进一步的帮助。
zvokhttg2#
你好，@saurabhmj11 -感谢你查看这个问题。我指的是
tensorflow.python.lib.io._pywrap_record_io.RandomRecordReader。将这个阅读器作为图形的一部分产生以下异常，这导致我相信它只在急切模式下工作(或者 Package 成py_function)。$x^{1}{c}d^{1}{x}$