我有一个表,过去有很多数据,但这个数据死了由于ttl很久以前。
但是当我运行诸如 SELECT * FROM my_table LIMIT 10
或者 SELECT count(*) FROM my_table
超时数秒。
当我使用spark-cassandra连接器(它在内部通过令牌范围查询表)读取数据时,实际上只需要几分钟就可以得到0个条目。
我怀疑压缩有问题,墓碑没有被删除,但表数据目录看起来并不庞大:
/var/lib/锡拉$sudo ls-la
/data/scylla/data/my\ U space/my\ U table-75F8388035C211E9BC8500000000011
总计2604 drwx-----4锡拉锡拉8192 11月27日15:55。
drwx-----215锡拉锡拉16384 11月15日19:00。。
-rw-r--r--1锡拉锡拉538 11月25日22:58 mc-1552402-big-compressioninfo.db
-rw-r--r--1锡拉锡拉162869 11月25日22:58 mc-1552402-big-data.db
-rw-r--r--1锡拉锡拉11月10日22:58 mc-1552402-big-digest.crc32
-rw-r--r--1锡拉锡拉656 11月25日22:58 mc-1552402-big-filter.db
-rw-r--r--1锡拉锡拉72244 11月25日22:58 mc-1552402-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日22:58 mc-1552402-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日22:58 mc-1552402-big-statistics.db
-rw-r--r--1锡拉锡拉176 11月25日22:58 mc-1552402-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日22:58 mc-1552402-big-toc.txt
-rw-r--r--1锡拉锡拉474 11月25日22:38 mc-1578193-big-compressioninfo.db
-rw-r--r--1锡拉锡拉135730 11月25日22:38 mc-1578193-big-data.db
-rw-r--r--1锡拉锡拉11月10日22:38 mc-1578193-big-digest.crc32
-rw-r--r--1锡拉锡拉496 11月25日22:38 mc-1578193-big-filter.db
-rw-r--r--1锡拉锡拉67215 11月25日22:38 mc-1578193-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日22:38 mc-1578193-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日22:38 mc-1578193-big-statistics.db
-rw-r--r--1锡拉锡拉148 11月25日22:38 mc-1578193-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日22:38 mc-1578193-big-toc.txt
-rw-r--r--1锡拉锡拉202 11月25日23:12 mc-1582107-big-compressioninfo.db
-rw-r--r--1锡拉锡拉49607 11月25日23:12 mc-1582107-big-data.db
-rw-r--r--1锡拉锡拉11月10日23:12 mc-1582107-big-digest.crc32
-rw-r--r--1锡拉锡拉176 11月25日23:12 mc-1582107-big-filter.db
-rw-r--r--1锡拉锡拉24733 11月25日23:12 mc-1582107-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日23:12 mc-1582107-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日23:12 mc-1582107-big-statistics.db
-rw-r--r--1锡拉锡拉92 11月25日23:12 mc-1582107-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日23:12 mc-1582107-big-toc.txt
-rw-r--r--1锡拉锡拉1826年11月25日22:39 mc-1601869-big-compressioninfo.db
-rw-r--r--1锡拉锡拉639833 11月25日22:39 mc-1601869-big-data.db
-rw-r--r--1锡拉锡拉11月25日22:39 mc-1601869-big-digest.crc32
-rw-r--r--1锡拉锡拉2096 11月25日22:39 mc-1601869-big-filter.db
-rw-r--r--1锡拉锡拉251799 11月25日22:39 mc-1601869-big-index.db
-rw-r--r--1锡拉锡拉98 11月25日22:39 mc-1601869-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日22:39 mc-1601869-big-statistics.db
-rw-r--r--1锡拉锡拉428 11月25日22:39 mc-1601869-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日22:39 mc-1601869-big-toc.txt
-rw-r--r--1锡拉锡拉514 11月25日23:40 mc-1664251-big-compressioninfo.db
-rw-r--r--1锡拉锡拉146270 11月25日23:40 mc-1664251-big-data.db
-rw-r--r--1锡拉锡拉11月10日23:40 mc-1664251-big-digest.crc32
-rw-r--r--1锡拉锡拉496 11月25日23:40 mc-1664251-big-filter.db
-rw-r--r--1锡拉锡拉69800 11月25日23:40 mc-1664251-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日23:40 mc-1664251-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日23:40 mc-1664251-big-statistics.db
-rw-r--r--1锡拉锡拉148 11月25日23:40 mc-1664251-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日23:40 mc-1664251-big-toc.txt
-rw-r--r--1锡拉锡拉522 11月25日23:39 mc-1679659-big-compressioninfo.db
-rw-r--r--1锡拉锡拉147350 11月25日23:39 mc-1679659-big-data.db
-rw-r--r--1锡拉锡拉9 11月25日23:39 mc-1679659-big-digest.crc32
-rw-r--r--1锡拉锡拉496 11月25日23:39 mc-1679659-big-filter.db
-rw-r--r--1锡拉锡拉70504 11月25日23:39 mc-1679659-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日23:39 mc-1679659-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日23:39 mc-1679659-big-statistics.db
-rw-r--r--1锡拉锡拉148 11月25日23:39 mc-1679659-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日23:39 mc-1679659-big-toc.txt
-rw-r--r--1锡拉锡拉562 11月25日23:05 mc-1742082-big-compressioninfo.db
-rw-r--r--1锡拉锡拉181106 11月25日23:05 mc-1742082-big-data.db
-rw-r--r--1锡拉锡拉8 11月25日23:05 mc-1742082-big-digest.crc32
-rw-r--r--1锡拉锡拉656 11月25日23:05 mc-1742082-big-filter.db
-rw-r--r--1锡拉锡拉69320 11月25日23:05 mc-1742082-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日23:05 mc-1742082-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日23:05 mc-1742082-big-statistics.db
-rw-r--r--1锡拉锡拉176 11月25日23:05 mc-1742082-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日23:05 mc-1742082-big-toc.txt
-rw-r--r--1锡拉锡拉554 11月25日23:24 mc-1774537-big-compressioninfo.db
-rw-r--r--1锡拉锡拉176335 11月25日23:24 mc-1774537-big-data.db
-rw-r--r--1锡拉锡拉9 11月25日23:24 mc-1774537-big-digest.crc32
-rw-r--r--1锡拉锡拉656 11月25日23:24 mc-1774537-big-filter.db
-rw-r--r--1锡拉锡拉67974 11月25日23:24 mc-1774537-big-index.db
-rw-r--r--1锡拉锡拉54 11月25日23:24 mc-1774537-big-scylla.db
-rw-r--r--1锡拉锡拉6234 11月25日23:24 mc-1774537-big-statistics.db
-rw-r--r--1锡拉锡拉176 11月25日23:24 mc-1774537-big-summary.db
-rw-r--r--1锡拉锡拉102 11月25日23:24 mc-1774537-big-toc.txt drwx-----2锡拉锡拉6 2019年2月21日暂存drwx-----2锡拉锡拉6 2019年2月21日上传
修改时间是相当新鲜的,所以可能一些压实实际上发生了。
我的表配置:
CREATE TABLE my_table (
f1 uuid,
f2 tinyint,
c boolean,
PRIMARY KEY (f1, f2)
) WITH CLUSTERING ORDER BY (f1 ASC)
AND bloom_filter_fp_chance = 0.01
AND caching = {'keys': 'ALL', 'rows_per_partition': 'ALL'}
AND comment = ''
AND compaction = {'class': 'SizeTieredCompactionStrategy'}
AND compression = {'sstable_compression': 'org.apache.cassandra.io.compress.LZ4Compressor'}
AND crc_check_chance = 1.0
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99.0PERCENTILE';
有什么问题吗?
2条答案
按热度按时间euoag5mw1#
在执行这些长cql时,您是否看到cpu、io和网络的负载?看到了吗https://docs.scylladb.com/troubleshooting/report_scylla_problem/#report-性能问题
你可以比较
nodetool cfstats
https://docs.scylladb.com/operating-scylla/nodetool-commands/cfstats/ 检查已知的表大小和逻辑删除的平均值到磁盘上看到的值。您可以尝试为查询启用跟踪,并查看查询是如何执行的。有正常的执行计划吗?什么步子慢?它接触多少个分区/节点?
主要介绍如何获取cql查询的墓碑计数?表示通过跟踪运行查询后,您可以看到执行的查询的总读取次数以及存在的逻辑删除次数。
考虑到结果,你可以从那里搬走。
y53ybaqx2#
墓碑被保存了一段时间
gc_grace_period
默认为10天。这是为了防止数据恢复,也就是说,确保每个节点的数据下的墓碑收到该墓碑(通过修复)。你的查询很可能是阅读了成千上万的墓碑,没有找到任何可以返回的东西。