(上图引用自书籍《The Definitive Guide to SQLite》第308页)
PS:《The Definitive Guide to SQLite》这本书的电子版我也给你找到了,请从下面附件处下载:
The Definitive Guide to SQLite (2nd edition, 2010)-52im.net.pdf.zip (3.61 MB)
但是压缩需要占用CPU资源,这里选择一种能够平衡性能和压缩率的算法是关键。
经过对比压缩算法的Benchmark,并且对消息体压缩性进行实测,最终选择了一个高性能压缩算法:lz4。
经过对测试帐号的数据分析,不同类型的消息体大小差异较大。
一般来说:文本消息的长度不会特别大,但是网页卡片类型的消息,体积会较大。由于不同的消息长度,获得的压缩率不一样,太短的文本长度,压缩起来并没有意义。
所以经过消息体长度、压缩、,压缩性能的分析,最终确定对网页卡片等进行压缩,在较低性能消耗的前提下,综合压缩率可达到40%,减少了IO次数 。
5.5 提高健壮性如果数据库文件由于外部原因发生损坏,则会对体验造成较大影响。降低损坏率和减少损坏带来的数据损失,也是我们改进的方向。
按照时间维度划分数据库之后,相当于把消息按时间分散存储。最新的数据库负责读写最近的消息,其余的数据库只需要根据需求支持浏览查看消息。
对于老数据库而言:可以做到按需加载,从而减少了对数据库的读写,也减少了这些数据库损坏的几率。一旦有数据库出现损坏,即使无法恢复,也不会所有消息全部丢失,只会丢失该数据库对应时间段的消息,这也可以减少部分数据库损坏带来的损失。
在早期使用的单数据库架构中,由于数据会越攒越多,数据库体积会持续变大,很难去做备份。分库之后,每个数据库体积变小,因而数据库备份变得更为可行。因为最新的数据库存在频繁的消息读写,发生损坏的概率远高于老数据库,所以这里对最新的一个数据库做定期的备份。
默认配置下,我们每间隔一段时间会对最新的数据库进行一次备份,该备份是最新的一个数据库的完整拷贝。若最新的数据库在读写时发生损坏,会先尝试从备份数据恢复。若恢复成功,则最多丢失从备份到恢复这段时间的数据,进一步降低损坏造成的损失。
6、优化对比经过对比,对于一个在测试帐号中原始的消息数据库,压缩后大小可以减少接近一半,同时溢出页数和需要使用溢出页的记录数减少也超过一半。
对于读写性能,对比压缩前,压缩后的读取和解压缩性能比之前有接近10%的提升。