用cassandra gocql驱动程序(golang)计算页面状态

vkc1a9a2  于 2021-06-10  发布在  Cassandra
关注(0)|答案(1)|浏览(393)

我一直想弄清楚apachecassandra中的分页和golang中的驱动程序是如何工作的。
我有以下用于获取行的代码

  1. /// Assume all other prerequisites.
  2. session, _ := cluster.CreateSession()
  3. session.SetPageSize(100)
  4. var pagestate []byte
  5. query := session.Query(`select * from keyspace.my_table`)
  6. query = query.PageState(pagestate)
  7. if err := query.Exec(); != nil {
  8. panic(err)
  9. }
  10. iter := query.Iter()
  11. for {
  12. row := map[string]interface{}{}
  13. if !iter.MapScan(row) {
  14. pagestate = iter.PageState()
  15. break
  16. }
  17. /// Do whatever I need with row.
  18. }

我想要达到的目的是:我引用的表非常大,超过18k行非常大,我希望使用驱动程序内置的分页以最有效的方式获取所有这些行,以便执行特殊操作,这样查询就不会超时。
问题:我不知道如何让查询恢复到上一页的状态。我不确定这是否涉及在循环中运行查询以及在循环之外管理页面状态。我知道如何获取和设置页面状态,我不知道在所有分页都完成时,如果没有适当的停止条件,如何每次用新的页面状态迭代查询。
我的最佳尝试:

  1. var pagestate []byte
  2. query := session.Query(`select * from keyspace.my_table`)
  3. for {
  4. query = query.PageState(pagestate)
  5. if err := query.Exec(); != nil {
  6. panic(err)
  7. }
  8. iter := query.Iter()
  9. /// I don't know if I'm using this bool correct or not.
  10. /// My assumption is that this would return false when a new page isn't
  11. /// avaliable, thus meaning that all the pages have been filled and
  12. /// the loop can exit.
  13. if !iter.WillSwitchPage() {
  14. break
  15. }
  16. for {
  17. row := map[string]interface{}{}
  18. if !iter.MapScan(row) {
  19. pagestate = iter.PageState()
  20. break
  21. }
  22. /// Do whatever I need with row.
  23. }
  24. }

我这样做是对的,还是有更好的方法来实现这一点?

rqqzpn5f

rqqzpn5f1#

所以,事实证明, WillSwitchPage() 在循环中的任何一点都不会返回true。不知道为什么。我想这是因为我使用 MapScan() 控制内环。
总之,我找到了一个解决方案,通过在查询循环的末尾检查[]字节来确定页面状态本身。如果驱动程序到达末尾并且没有填充页面,页面状态将有0个元素,因此我将使用它作为停止条件。这可能是也可能不是处理驱动程序分页的最优雅或最理想的方式,但它的功能符合需要。

  1. var pagestate []byte
  2. query := session.Query(`select * from keyspace.my_table`)
  3. for {
  4. query = query.PageState(pagestate)
  5. if err := query.Exec(); != nil {
  6. panic(err)
  7. }
  8. iter := query.Iter()
  9. for {
  10. row := map[string]interface{}{}
  11. if !iter.MapScan(row) {
  12. pagestate = iter.PageState()
  13. break
  14. }
  15. /// Do whatever I need with row.
  16. }
  17. if len(pagestate) == 0 {
  18. break
  19. }
  20. }
展开查看全部

相关问题