SingleX

问题由来最近在梳理业务中所使用的存储时脑子里突然冒出一个问题：为什么大部分 NewSQL 的践行者们在选择底层的存储模型时不约而同的选择了 LSM-Tree？在数据存储领域除了 LSM-Tree 之外另一个常用的存储模型就是 B-Tree（这里将 B+Tree 看做是 B-Tree 的一种），相比于 B-Tree，LSM-Tree 有哪些优劣之处？ 什么是 NewSQL，它要解决的问题是什么... 阅读全文…

上周因同事休假暂时帮忙维护一个服务，周五下午本以为要顺利度过本周的时候线上出了问题，在进行数据修复的时候发现之前一个工具代码的隐藏 bug，该 bug 会在进行数据修复时触发 panic。剥离具体业务逻辑之后代码逻辑如下： 123456789101112func main() { // 从数据库中查询数据，a 为具体数据的指针，当数据没找到时 a=nil a := findFrom... 阅读全文…

前言在不同的系统或者同一个系统的不同实例间共享某个临界资源，为防止互相影响往往需要通过加锁的方式来将二者互斥开来。分布式锁就是在分布式系统中将多个同时对临界资源进行的操作互斥开的一种方式。 当我们遇到并发的对某个资源进行操作的场景时经常第一时间想到的是利用Redis、ZK等中间件加分布式锁来保证数据的准确性和一致性，但是在一些场景下并不一定需要显式的加锁来解决这个问题。 背景这天亚瑟和胖虎遇... 阅读全文…

书接上回，继续聊聊“鬼见愁”项目中的那些神操作 数据库相关1. ES索引过大导致集群分布不均衡神操作： ES单索引分片数据过大导致集群中数据倾斜，历史数据不归档 单索引分片数据过大或者索引分片数与集群实例数相差较多容易导致数据倾斜，使得集群某个实例负载较高而其他实例负载较低，在集群整体负载不高的情况下出现部分响应耗时较长的现象，也容易出现因为某个实例的存储水位过高导致整个集群不能写入数据的情... 阅读全文…

前言聊一聊之前接手的一个核心老系统，该系统主要负责内容的生产和加工，内容包括：图文、视频、直播等，加工生产主要指内容的发布、修改、特征计算和处理。内容在经过加工处理后送给下游进行个性化分发。 在这个系统中见识到了许许多多令人震惊的神操作，这里面一部分是有历史原因还有相当一部分是因为不好的开发习惯以及项目缺乏维护而引起。 代码相关1. 调用其他服务接口不判断响应结果神操作： 在调用其他服务接... 阅读全文…

从算盘开始说起科学史专家们将中国的算盘作为人类历史上最早出现的计算机，由此算来计算机从出现至今已有2000年的历史。古希腊的算盘比中国的算盘早出现近7个世纪，为何中国算盘却被认为是人类历史上最早的计算机呢？ 古希腊的算盘与中国的算盘外形十分相似，但是古希腊的算盘只是用来辅助计算，算盘上的铜珠在计算过程中用来计数而计算的过程是靠人动脑筋来完成的，因此它只是一个辅助计算工具。中国的算盘是通过一套... 阅读全文…

前言在做API设计的时候经常遇到两个问题： 1、更新接口参数是否可以只传要修改的字段。 2、protobuf3 Go generated code中没有HasField()方法之后，如何判断某个字段是否被赋值。 实践FieldMask对于前面提到的第一个问题可以利用FieldMask来解决，看下FieldMask官方介绍： FieldMask represents a set of sym... 阅读全文…

前言提到全文搜索ES是一款比较被人熟知的开源搜索引擎，很多公司会基于ES来做全文搜索相关的业务。例如，在做内容相关的业务时常会有类似的运营需求：根据某个关键词搜索出所有包含该关键词的内容。如果量级比较小使用SQL的LIKE语句便可以解决，如果量级比较大的话一般需要通过搜索引擎来处理，但中文搜索往往因为分词问题会影响到最终的搜索效果。不同的业务对搜索结果的准确率和召回率各有不同的侧重，在根据某... 阅读全文…

数据存储方面除了被大家熟知的MySQL、PostgreSQL数据库之外，目前基于LSMTree数据模型的数据库也已经得到广泛的应用，尤其在比较看重写入吞吐量和写入性能的场景基于LSMTree的数据库具有良好的性能表现。我们简单看下SSTable和LSMTree的实现原理。 从一个简单的数据库实现开始假设我们要构建一个KV数据库，可以用一个shell脚本完成一个名字为myDB的简单实现： 12... 阅读全文…

使用Go进行网络编程是十分的高效和便捷的，在goroutine-per-connection这样的编程模式下开发者可以使用同步的模式来编写业务逻辑而无需关心网络的阻塞、异步等问题极大的降低了心智负担。同时Go基于 I/O multiplexing 和 goroutine scheduler 使得这个网络模型在开发模式和接口层面保持简洁的同时也具备较高的性能可以满足绝大多数的场景。 ... 阅读全文…