SingleX

Rank是干啥的Rank是搜索引擎中的精髓模块，Rank所做的事情就是根据用户的query对所有的doc(常见的如网页)进行打分排序。打分排序的依据是doc与query的相关性，而相关性怎么计算呢？把搜索这个动作可拆为两件事情： 用户给出一个query 某个doc满足用户的搜索需求 rank排序依据可以用一个条件概率来表示: $P(d_{i}|q)$其中q是用户给定的一个查询，$d_i$... 阅读全文…

前些年大数据这个词很火，最近一两年AI又火了起来，现在出门不谈点AI 都不好意思跟人Say Hi。 为什么经历了两个冬天的AI在大数据火了之后迎来了新的春天？ 仿生学不是出路AI已经出现几十年了，而最近五年发展十分迅速，为什么？早期研究人工智能的学者认为要让机器获得智能，首先要了解人类是如何产生智能的，然后让计算机按照人的思路去做，要让机器像人一样思考才能获得智能。这种方法论被称为『鸟飞派』... 阅读全文…

春天来了，又到了动物们人们开始躁动的季节，正所谓『金三银四』，又到了换工作最疯狂的季节了，地铁站里贴满的猎聘、直聘BOSS等广告彰显出人们躁动的荷尔蒙。而我，在这个躁动的季节里也觉得格外焦虑。 为什么会感到焦虑呢？因为对自己的现状感到不满，想变得更好，可是又没有明确的路，摸索前行的过程中时常会感到迷茫。 回头审视了一下过去的一年，自己感觉并没有做出什么让自己满意的成绩，尽管组里的人都觉得我去... 阅读全文…

Status自从将博客从旧地址搬过来之后更新速度明显下降了好多，在过去的2016年里总共也没写几篇，甚至连年度总结都省去了。为什么博文更新频率降低了呢？为什么呢！？ Why为什么会这样呢？ 1.懒 过去的一年确实有些变懒了，除了写东西偷懒，在思维上也有些偷懒了，思考不够勤奋。2.不够聚焦 这也是老毛病了，总是思绪乱飞，经常被一些被热捧的技术吸引眼球，但又浅尝辄止，没有深入的学习。皮毛的东西不... 阅读全文…

分布式环境下，多台机器上多个线程对同一份数据进行操作如果不做处理防范，就有可能出现类似『数据重复入库』、『商品超卖』等情况，在这种情况下需要分布式锁来对分布式环境下临界资源做互斥。 那么如何来做呢？ 想想单机多线程的时候我们是如何保证互斥的，单机多线程的情况下所有的线程都去尝试获取同一把锁。换到分布式环境下我们把局限于一台机器内的锁提出来，其实就是利用一个大家都能访问的公共资源来实现分布式锁... 阅读全文…

随着互联网的发展，越来越多的人选择在网上消费，并且越来越的证据表明商品的评论信息会影响到消费者的消费决定。评论挖掘的主要任务是从评论中了解到用户对产品的哪些功能、属性进行了怎样的评论，并抽取成简短有效的信息。 评论挖掘主要有以下几个子任务： 识别、抽取产品特征产品特征分为显示特征和隐含特征。 显示特征显示特征是直接出现在产品的评论中，描述产品的性能或功能的名词或名词短语。 隐含特征隐含特征... 阅读全文…

从按下计算机的电源按钮到出现欢迎页，这个过程都发生了什么？我们知道计算机启动叫boot，重启叫reboot，这里的boot其实是bootstrap的缩写。计算机运行时其硬件交由软件来控制，所以计算机要启动必须要运行软件，但是计算机不启动就无法运行软件，这是一个鸡生蛋和蛋生鸡的过程。有一句谚语： “pull oneself up by one’s bootstraps” 意思是说拽着自己的... 阅读全文…

为了Emoji最近写东西的时候需要支持Emoji表情，用MySQL作存储需要版本5.5.3+并且字符集设置为utf8mb4，由于是跟其他服务公用一个MySQL存储服务所以不能动MySQL的全局配置，在针对数据库和表设置完字符集设置后，应用程序连接数据库时指定default-character-set为utf8mb4会有报错提示（不知道是不是应用程序使用的MySQL驱动不支持的缘故），所以存储... 阅读全文…

作为一名开发者，开发一个用户账户系统很可能就是你工作内容的一部分，其中比较重要的事情就是如何保护用户的密码，当系统被攻破、数据库被拖库时如何降低泄露用户原始密码的风险是一件值得深思的问题（还记得当年CSDN被拖库后爆出系统存储了用户的明文密码吗？）。比较行之有效的办法是对用户密码进行加盐哈希。 为什么要对密码进行哈希首先我们希望即使被拖库后用户的明文密码也不会遭到泄露，以免使得坏蛋们可以拿着... 阅读全文…

蓄水池抽样** 问题：** 给出一个数据流，这个数据流的长度很大或者未知。并且对该数据流中数据只能访问一次。请写出一个随机选择算法，使得数据流中所有数据被选中的概率相等。 思路： 解决方案就是蓄水池抽样（reservoir sampling）。主要思想就是保持一个集合作为蓄水池，依次遍历所有数据的时候以一定概率替换这个蓄水池中的数字。 对这个问题首先从最简单的情况出发： 数据流只有一个数据... 阅读全文…