SingleX

倘若一成不变，何以激荡人心。

2022-12-03
- 系统设计
说说那些“鬼见愁”的项目-Part2

书接上回，继续聊聊“鬼见愁”项目中的那些神操作数据库相关1. ES索引过大导致集群分布不均衡神操作： ES单索引分片数据过大导致集群中数据倾斜，历史数据不归档单索引分片数据过大或者索引分片数与集群实例数相差较多容易导致数据倾斜，使得集群某个实例负载较高而其他实例负载较低，在集群整体负载不高的情况下出现部分响应耗时较长的现象，也容易出现因为某个实例的存储水位过高导致整个集群不能写入数据的情... 阅读全文…
- Architecture & Design
2022-11-27
- 系统设计
说说那些“鬼见愁”的项目-Part1

前言聊一聊之前接手的一个核心老系统，该系统主要负责内容的生产和加工，内容包括：图文、视频、直播等，加工生产主要指内容的发布、修改、特征计算和处理。内容在经过加工处理后送给下游进行个性化分发。在这个系统中见识到了许许多多令人震惊的神操作，这里面一部分是有历史原因还有相当一部分是因为不好的开发习惯以及项目缺乏维护而引起。代码相关1. 调用其他服务接口不判断响应结果神操作：在调用其他服务接... 阅读全文…
- Architecture & Design
2022-05-03
- 系统设计
计算机发展历史

从算盘开始说起科学史专家们将中国的算盘作为人类历史上最早出现的计算机，由此算来计算机从出现至今已有2000年的历史。古希腊的算盘比中国的算盘早出现近7个世纪，为何中国算盘却被认为是人类历史上最早的计算机呢？古希腊的算盘与中国的算盘外形十分相似，但是古希腊的算盘只是用来辅助计算，算盘上的铜珠在计算过程中用来计数而计算的过程是靠人动脑筋来完成的，因此它只是一个辅助计算工具。中国的算盘是通过一套... 阅读全文…
- Architecture & Design
2021-10-23
- Go
利用Protocol buffers FieldMask和Wrapper Message设计API

前言在做API设计的时候经常遇到两个问题： 1、更新接口参数是否可以只传要修改的字段。 2、protobuf3 Go generated code中没有HasField()方法之后，如何判断某个字段是否被赋值。实践FieldMask对于前面提到的第一个问题可以利用FieldMask来解决，看下FieldMask官方介绍： FieldMask represents a set of sym... 阅读全文…
- Go
2021-10-05
- search
ES模糊搜索

前言提到全文搜索ES是一款比较被人熟知的开源搜索引擎，很多公司会基于ES来做全文搜索相关的业务。例如，在做内容相关的业务时常会有类似的运营需求：根据某个关键词搜索出所有包含该关键词的内容。如果量级比较小使用SQL的LIKE语句便可以解决，如果量级比较大的话一般需要通过搜索引擎来处理，但中文搜索往往因为分词问题会影响到最终的搜索效果。不同的业务对搜索结果的准确率和召回率各有不同的侧重，在根据某... 阅读全文…
- 搜索
2021-01-22
- 系统设计
LSM Tree与SSTable：构建高效KV存储的基石

数据存储方面除了被大家熟知的MySQL、PostgreSQL数据库之外，目前基于LSMTree数据模型的数据库也已经得到广泛的应用，尤其在比较看重写入吞吐量和写入性能的场景基于LSMTree的数据库具有良好的性能表现。我们简单看下SSTable和LSMTree的实现原理。从一个简单的数据库实现开始假设我们要构建一个KV数据库，可以用一个shell脚本完成一个名字为myDB的简单实现： 12... 阅读全文…
- Architecture & Design
2020-12-13
- Go
探索Go的netpoller：netpoller网络模型与I/O多路复用技术

使用Go进行网络编程是十分的高效和便捷的，在goroutine-per-connection这样的编程模式下开发者可以使用同步的模式来编写业务逻辑而无需关心网络的阻塞、异步等问题极大的降低了心智负担。同时Go基于 I/O multiplexing 和 goroutine scheduler 使得这个网络模型在开发模式和接口层面保持简洁的同时也具备较高的性能可以满足绝大多数的场景。 ... 阅读全文…
- Go
2020-12-06
- 系统设计
控制好微服务之间的连接数量

在微服务的架构模式下服务间通过长连接进行通信，通常情况下每个客户端实例都会与每个服务实例建立连接，如果服务实例数达到几千几万个那么相互之间建立的连接数将指数级上升，这样带来的坏处是：客户端的连接池里的连接数变多，消耗的资源增加对应的服务端维护的长连接增多，尤其在一个连接一个线程的模式下消耗的资源很可观长连接定期的健康检查消耗一定的CPU 为了避免过多的资源消耗客户端可以选择服务集群... 阅读全文…
- Architecture & Design
2020-12-05
- 系统设计
微服务中的服务过载

在微服务中某个服务的请求突然升高会造成服务的过载，服务一旦过载进入异常状态之后会对服务的上下游都造成一定的影响。当服务出现过载的时候常见的处理方法是调用方进行熔断，服务方进行降级、流量抛弃等。资源耗尽假设一个服务最多能处理1000QPS的请求，当QPS超过1000之后随着请求量的增多会发生什么： CPU不足以应对这么多的请求则所有请求的响应时间变慢响应时间变慢进而导致积压的in-fli... 阅读全文…
- Architecture & Design
2020-02-01
- Kubernetes
Kubernetes使用DevicePlugin 管理 GPU

背景近几年随着大量数据的积累和算力的发展使AI有了更多的落地场景并再次成为人们口中的“明日之星”，这其中云计算是其背后的一个重要推手。而云计算领域Kubernetes作为云OS的事实标准也成为了关注的焦点，云原生和AI的快速发展使得用Kubernetes管理GPU的诉求也越来越多，使用Kubernetes管理GPU有什么好处呢？首先，使用k8s管理GPU可以加速部署。使用容器技术可以将部署... 阅读全文…
- k8s