SingleX

倘若一成不变，何以激荡人心。

2021-01-22
- 系统设计
LSM Tree与SSTable：构建高效KV存储的基石

数据存储方面除了被大家熟知的MySQL、PostgreSQL数据库之外，目前基于LSMTree数据模型的数据库也已经得到广泛的应用，尤其在比较看重写入吞吐量和写入性能的场景基于LSMTree的数据库具有良好的性能表现。我们简单看下SSTable和LSMTree的实现原理。从一个简单的数据库实现开始假设我们要构建一个KV数据库，可以用一个shell脚本完成一个名字为myDB的简单实现： 12... 阅读全文…
- Architecture & Design
2020-12-13
- Go
探索Go的netpoller：netpoller网络模型与I/O多路复用技术

使用Go进行网络编程是十分的高效和便捷的，在goroutine-per-connection这样的编程模式下开发者可以使用同步的模式来编写业务逻辑而无需关心网络的阻塞、异步等问题极大的降低了心智负担。同时Go基于 I/O multiplexing 和 goroutine scheduler 使得这个网络模型在开发模式和接口层面保持简洁的同时也具备较高的性能可以满足绝大多数的场景。 ... 阅读全文…
- Go
2020-12-06
- 系统设计
控制好微服务之间的连接数量

在微服务的架构模式下服务间通过长连接进行通信，通常情况下每个客户端实例都会与每个服务实例建立连接，如果服务实例数达到几千几万个那么相互之间建立的连接数将指数级上升，这样带来的坏处是：客户端的连接池里的连接数变多，消耗的资源增加对应的服务端维护的长连接增多，尤其在一个连接一个线程的模式下消耗的资源很可观长连接定期的健康检查消耗一定的CPU 为了避免过多的资源消耗客户端可以选择服务集群... 阅读全文…
- Architecture & Design
2020-12-05
- 系统设计
微服务中的服务过载

在微服务中某个服务的请求突然升高会造成服务的过载，服务一旦过载进入异常状态之后会对服务的上下游都造成一定的影响。当服务出现过载的时候常见的处理方法是调用方进行熔断，服务方进行降级、流量抛弃等。资源耗尽假设一个服务最多能处理1000QPS的请求，当QPS超过1000之后随着请求量的增多会发生什么： CPU不足以应对这么多的请求则所有请求的响应时间变慢响应时间变慢进而导致积压的in-fli... 阅读全文…
- Architecture & Design
2020-02-01
- Kubernetes
Kubernetes使用DevicePlugin 管理 GPU

背景近几年随着大量数据的积累和算力的发展使AI有了更多的落地场景并再次成为人们口中的“明日之星”，这其中云计算是其背后的一个重要推手。而云计算领域Kubernetes作为云OS的事实标准也成为了关注的焦点，云原生和AI的快速发展使得用Kubernetes管理GPU的诉求也越来越多，使用Kubernetes管理GPU有什么好处呢？首先，使用k8s管理GPU可以加速部署。使用容器技术可以将部署... 阅读全文…
- k8s
2019-06-02
- Kubernetes
关于Kubernetes的思考

随着这些年的发展Kubernetes已经成为容器编排调度的事实标准，它的出现将改变软件部署交付的方式而它本身的设计理念也十分值得深思和借鉴。声明式API和编程范式当你开始尝试在k8s中部署一个pod时，它所给你带来的最直接的感受就是k8s的API是声明式而不是命令式的。如果是命令式的API，那么你就需要通过API来告诉k8s具体要执行的动作是什么，比如启动或停止容器。而声明式的API只需要... 阅读全文…
- k8s
2018-05-19
- Go
Go 中的nil channel

从一个问题开始要求写一个函数，该函数将从两个channel里获取值并将获取到的值放到一个新的channel里，最后将新的channel返回:func merge(a,b <-chan int) <-chan int 一种思路首先有一个生成a,b这两个channel的函数： 1234567891011func getChan(vs []int) <-chan int ... 阅读全文…
2018-04-01
- NLP
会话管理(Dialog Management)

基本概念会话管理(以下简称DM)是人机多轮对话系统的核心部分。它主要的功能包括：对话状态维护(dialog state tracking, DST) 维护更新会话状态。当前的会话状态依赖于之前的系统状态和之前的系统响应以及当前时刻的用户输入。产生决策(dialog strategy) 根据DST中会话状态做出系统决策，决定下一步做什么。与其他后端系统交互下图是一个经典的对话系统结... 阅读全文…
- AI
2018-03-25
- 此刻我在想什么
关于机器人的一些思考

前几天在猎豹在水立方开的机器人之夜发布会引起了人们的关注和讨论，在发布会上傅盛把机器人行业的几位大佬都给diss了一遍，RFC(Robot Funder Club)圈内人士也在讨论/吐槽此事，猎豹可谓赚足了眼球。恰好我在做一些机器人有关的事情也接触了一些RFC的成员下面说一下我对机器人的一些思考。机器人根据场景不同可以分为很多类型，比如：机械臂，服务机器人，陪伴机器人，商用机器人... 阅读全文…
2018-01-28
- 此刻我在想什么
过剩的消费

周末在收拾东西的时候发现桌子上、抽屉里不知不觉里多了好多东西，大部分是买回来就没怎么用过。最近几年流行一个词：消费升级，为什么要消费升级呢，那要从中国改革开放以来的快速发展说起。近些年中国在近乎所有领域的制造方面碾压其他国家，好多从国外买回来的商品上也印有“made in china”的字样。这也导致了发达国家的实体制造业的萎缩，如果再遇上金融危机发达国家就会经济下滑，进而对中国订单的需求... 阅读全文…