SingleX

当下，AI 领域最炙手可热的概念莫过于 MCP。随着全球开发者对 Agent 技术的热情空前高涨，MCP 一跃成为 AI 生态中的“底层标准”，也逐渐成为业内讨论的焦点之一。 最近我也开始尝试将业务中的一些能力通过 MCP Server 的方式暴露出来，供大模型调用。初步实践下来效果还不错，甚至让我一度动了“重构网关，把所有服务都暴露成 MCP”的念头。毕竟谁能拒绝一个“全能助理”在你业务... 阅读全文…

问题由来最近在梳理业务中所使用的存储时脑子里突然冒出一个问题：为什么大部分 NewSQL 的践行者们在选择底层的存储模型时不约而同的选择了 LSM-Tree？在数据存储领域除了 LSM-Tree 之外另一个常用的存储模型就是 B-Tree（这里将 B+Tree 看做是 B-Tree 的一种），相比于 B-Tree，LSM-Tree 有哪些优劣之处？ 什么是 NewSQL，它要解决的问题是什么... 阅读全文…

上周因同事休假暂时帮忙维护一个服务，周五下午本以为要顺利度过本周的时候线上出了问题，在进行数据修复的时候发现之前一个工具代码的隐藏 bug，该 bug 会在进行数据修复时触发 panic。剥离具体业务逻辑之后代码逻辑如下： 1234567891011121314func main() { // 从数据库中查询数据，a 为具体数据的指针，当数据没找到时 a=nil a := find... 阅读全文…

前言在不同的系统或者同一个系统的不同实例间共享某个临界资源，为防止互相影响往往需要通过加锁的方式来将二者互斥开来。分布式锁就是在分布式系统中将多个同时对临界资源进行的操作互斥开的一种方式。 当我们遇到并发的对某个资源进行操作的场景时经常第一时间想到的是利用Redis、ZK等中间件加分布式锁来保证数据的准确性和一致性，但是在一些场景下并不一定需要显式的加锁来解决这个问题。 背景这天亚瑟和胖虎遇... 阅读全文…

书接上回，继续聊聊“鬼见愁”项目中的那些神操作 数据库相关1. ES索引过大导致集群分布不均衡神操作： ES单索引分片数据过大导致集群中数据倾斜，历史数据不归档 单索引分片数据过大或者索引分片数与集群实例数相差较多容易导致数据倾斜，使得集群某个实例负载较高而其他实例负载较低，在集群整体负载不高的情况下出现部分响应耗时较长的现象，也容易出现因为某个实例的存储水位过高导致整个集群不能写入数据的情... 阅读全文…

前言聊一聊之前接手的一个核心老系统，该系统主要负责内容的生产和加工，内容包括：图文、视频、直播等，加工生产主要指内容的发布、修改、特征计算和处理。内容在经过加工处理后送给下游进行个性化分发。 在这个系统中见识到了许许多多令人震惊的神操作，这里面一部分是有历史原因还有相当一部分是因为不好的开发习惯以及项目缺乏维护而引起。 代码相关1. 调用其他服务接口不判断响应结果神操作： 在调用其他服务接... 阅读全文…

从算盘开始说起科学史专家们将中国的算盘作为人类历史上最早出现的计算机，由此算来计算机从出现至今已有2000年的历史。古希腊的算盘比中国的算盘早出现近7个世纪，为何中国算盘却被认为是人类历史上最早的计算机呢？ 古希腊的算盘与中国的算盘外形十分相似，但是古希腊的算盘只是用来辅助计算，算盘上的铜珠在计算过程中用来计数而计算的过程是靠人动脑筋来完成的，因此它只是一个辅助计算工具。中国的算盘是通过一套... 阅读全文…

前言在做API设计的时候经常遇到两个问题： 1、更新接口参数是否可以只传要修改的字段。 2、protobuf3 Go generated code中没有HasField()方法之后，如何判断某个字段是否被赋值。 实践FieldMask对于前面提到的第一个问题可以利用FieldMask来解决，看下FieldMask官方介绍： FieldMask represents a set of sym... 阅读全文…

前言提到全文搜索ES是一款比较被人熟知的开源搜索引擎，很多公司会基于ES来做全文搜索相关的业务。例如，在做内容相关的业务时常会有类似的运营需求：根据某个关键词搜索出所有包含该关键词的内容。如果量级比较小使用SQL的LIKE语句便可以解决，如果量级比较大的话一般需要通过搜索引擎来处理，但中文搜索往往因为分词问题会影响到最终的搜索效果。不同的业务对搜索结果的准确率和召回率各有不同的侧重，在根据某... 阅读全文…

数据存储方面除了被大家熟知的MySQL、PostgreSQL数据库之外，目前基于LSMTree数据模型的数据库也已经得到广泛的应用，尤其在比较看重写入吞吐量和写入性能的场景基于LSMTree的数据库具有良好的性能表现。我们简单看下SSTable和LSMTree的实现原理。 从一个简单的数据库实现开始假设我们要构建一个KV数据库，可以用一个shell脚本完成一个名字为myDB的简单实现： 12... 阅读全文…