SingleX

搜索引擎主要是帮助用户找到想要的信息或者服务，所以这里面涉及到三件事情，理解用户搜索意图，理解资源，匹配用户意图和资源。在一开始的时候搜索引擎主要通过对文本的统计分析，如TF-IDF,BM25等，来满足二者之间的匹配。后来发现除了文本统计之外还可以通过对页面质量的分析，外链的分析，如PageRank，来提升对资源的理解改善搜索效果。再到后来发现通过分析用户在搜索时的行为可以更好的了解用户意图... 阅读全文…

什么是相关搜索在使用搜索引擎的时候，输入一个关键词之后经常在页面底部或者右侧会出现相关搜索提示。例如搜索”万达”会提示“万达广场”，“万达影院”等。相关搜索的作用是帮助用户更加快速的找到想要的东西，提升用户体验。当你通过一个关键词找不到想要的结果时相关搜索会帮到你，它会推荐你换一个关键词试试，所以它更像是搜索引擎中的一个推荐系统。搜索与推荐是不分家的，在搜索引擎中相关搜索的点击量还是很可观的... 阅读全文…

转眼已到7月盛夏的季节，2017已经过了一半。前几天跟同事说，到了这个年龄，最让人感到恐惧的就是时间的飞逝。 所谓一年之计在于春，今年春天的时候回顾自己过去一年的工作与成长，感觉略有失望，跟leader沟通过后，在春末夏初的时候工作上做了新的调整。希望在下一个风口到来时自己不掉队并且能够做些事情。 比较幸运的是，在过去的一年多做过两个新项目，并且自己是其中一个项目的owner。虽然项目都不算... 阅读全文…

在go test命令后面添加 -cover参数开启测试覆盖率统计，其结果如下：ok models 0.012s coverage: 71.4% of statements in models-coverpkg 标记来指定要被统计的代码包之后，未被指定的代码则肯定不会被统计，即使是被直接测试的那个代码包。go test -coverpkg=./... pkg2可以跑pkg2下的所... 阅读全文…

现象在本机执行ssh target "nohup sh test.sh &",ssh并没有立即结束退出，而是等着test.sh执行完才退出，如果提前断开ssh则执行失败。使用nohup和&是想让test.sh在后台执行，并忽略SIGHUP信号，即使执行命令的console退出了，执行命令的进程也可以继续执行。而ssh远程执行nohup的命令不立即退出跟no... 阅读全文…

Rank是干啥的Rank是搜索引擎中的精髓模块，Rank所做的事情就是根据用户的query对所有的doc(常见的如网页)进行打分排序。打分排序的依据是doc与query的相关性，而相关性怎么计算呢？把搜索这个动作可拆为两件事情： 用户给出一个query 某个doc满足用户的搜索需求 rank排序依据可以用一个条件概率来表示: $P(d_{i}|q)$其中q是用户给定的一个查询，$d_i$... 阅读全文…

前些年大数据这个词很火，最近一两年AI又火了起来，现在出门不谈点AI 都不好意思跟人Say Hi。 为什么经历了两个冬天的AI在大数据火了之后迎来了新的春天？ 仿生学不是出路AI已经出现几十年了，而最近五年发展十分迅速，为什么？早期研究人工智能的学者认为要让机器获得智能，首先要了解人类是如何产生智能的，然后让计算机按照人的思路去做，要让机器像人一样思考才能获得智能。这种方法论被称为『鸟飞派』... 阅读全文…

春天来了，又到了动物们人们开始躁动的季节，正所谓『金三银四』，又到了换工作最疯狂的季节了，地铁站里贴满的猎聘、直聘BOSS等广告彰显出人们躁动的荷尔蒙。而我，在这个躁动的季节里也觉得格外焦虑。 为什么会感到焦虑呢？因为对自己的现状感到不满，想变得更好，可是又没有明确的路，摸索前行的过程中时常会感到迷茫。 回头审视了一下过去的一年，自己感觉并没有做出什么让自己满意的成绩，尽管组里的人都觉得我去... 阅读全文…

Status自从将博客从旧地址搬过来之后更新速度明显下降了好多，在过去的2016年里总共也没写几篇，甚至连年度总结都省去了。为什么博文更新频率降低了呢？为什么呢！？ Why为什么会这样呢？ 1.懒 过去的一年确实有些变懒了，除了写东西偷懒，在思维上也有些偷懒了，思考不够勤奋。2.不够聚焦 这也是老毛病了，总是思绪乱飞，经常被一些被热捧的技术吸引眼球，但又浅尝辄止，没有深入的学习。... 阅读全文…

分布式环境下，多台机器上多个线程对同一份数据进行操作如果不做处理防范，就有可能出现类似『数据重复入库』、『商品超卖』等情况，在这种情况下需要分布式锁来对分布式环境下临界资源做互斥。 那么如何来做呢？ 想想单机多线程的时候我们是如何保证互斥的，单机多线程的情况下所有的线程都去尝试获取同一把锁。换到分布式环境下我们把局限于一台机器内的锁提出来，其实就是利用一个大家都能访问的公共资源来实现分布式锁... 阅读全文…