搜索引擎系列(三)---用户行为分析

搜索引擎主要是帮助用户找到想要的信息或者服务,所以这里面涉及到三件事情,理解用户搜索意图,理解资源,匹配用户意图和资源。在一开始的时候搜索引擎主要通过对文本的统计分析,如TF-IDF,BM25等,来满足二者之间的匹配。后来发现除了文本统计之外还可以通过对页面质量的分析,外链的分析,如PageRank,来提升对资源的理解改善搜索效果。再到后来发现通过分析用户在搜索时的行为可以更好的了解用户意图并以此来提升搜索结果的相关度。为什么呢?用户选择搜索结果的过程是一次人类智慧的体现,通过观察多个用户的这种行为并从中找出规律可以提升搜索结果的相关度,毕竟人还是要比机器更加有智慧,这也是典型的利用集体智慧的例子。

阅读全文

搜索引擎系列(二)---相关搜索

什么是相关搜索

在使用搜索引擎的时候,输入一个关键词之后经常在页面底部或者右侧会出现相关搜索提示。例如搜索”万达”会提示“万达广场”,“万达影院”等。
相关搜索的作用是帮助用户更加快速的找到想要的东西,提升用户体验。当你通过一个关键词找不到想要的结果时相关搜索会帮到你,它会推荐你换一个关键词试试,所以它更像是搜索引擎中的一个推荐系统。搜索与推荐是不分家的,在搜索引擎中相关搜索的点击量还是很可观的。

阅读全文

7月盛夏

转眼已到7月盛夏的季节,2017已经过了一半。前几天跟同事说,到了这个年龄,最让人感到恐惧的就是时间的飞逝。

所谓一年之计在于春,今年春天的时候回顾自己过去一年的工作与成长,感觉略有失望,跟leader沟通过后,在春末夏初的时候工作上做了新的调整。希望在下一个风口到来时自己不掉队并且能够做些事情。

阅读全文

Go多个pkg的单元测试覆盖率

在go test命令后面添加 -cover参数开启测试覆盖率统计,其结果如下:
ok models 0.012s coverage: 71.4% of statements in models
-coverpkg 标记来指定要被统计的代码包之后,未被指定的代码则肯定不会被统计,即使是被直接测试的那个代码包。go test -coverpkg=./... pkg2可以跑pkg2下的所有单元测试及pkg2所用到的其他包的覆盖率情况。
但是由于go不支持go test -coverpkg=./... ./...如果我们有多个pkg,则无法一次性统计出所有的测试覆盖率和跑完全部单元测试。所以需要挨个跑完单元测试然自己来合并覆盖率的结果:

阅读全文

ssh远程执行nohup命令不退出

现象

在本机执行ssh target "nohup sh test.sh &",ssh并没有立即结束退出,而是等着test.sh执行完才退出,如果提前断开ssh则执行失败。使用nohup&是想让test.sh在后台执行,并忽略SIGHUP信号,即使执行命令的console退出了,执行命令的进程也可以继续执行。而ssh远程执行nohup的命令不立即退出跟nohup没有太大的关系。将上面的命令换成下面的命令就会立即返回:
ssh target "nohup sh test.sh >/dev/null 2&1 &"

阅读全文

搜索引擎系列(一)---Rank的概率模型

Rank是干啥的

Rank是搜索引擎中的精髓模块,Rank所做的事情就是根据用户的query对所有的doc(常见的如网页)进行打分排序。打分排序的依据是doc与query的相关性,而相关性怎么计算呢?把搜索这个动作可拆为两件事情:

阅读全文

大数据与人工智能

前些年大数据这个词很火,最近一两年AI又火了起来,现在出门不谈点AI 都不好意思跟人Say Hi。

为什么经历了两个冬天的AI在大数据火了之后迎来了新的春天?

仿生学不是出路

AI已经出现几十年了,而最近五年发展十分迅速,为什么?早期研究人工智能的学者认为要让机器获得智能,首先要了解人类是如何产生智能的,然后让计算机按照人的思路去做,要让机器像人一样思考才能获得智能。这种方法论被称为『鸟飞派』,看看鸟是怎么飞的,模仿鸟的动作人就能飞上天。而实际上飞机的发明依靠的是空气动力学而不是仿生学。

阅读全文

躁动的季节,躁动的心

春天来了,又到了动物们人们开始躁动的季节,正所谓『金三银四』,又到了换工作最疯狂的季节了,地铁站里贴满的猎聘、直聘BOSS等广告彰显出人们躁动的荷尔蒙。而我,在这个躁动的季节里也觉得格外焦虑。

为什么会感到焦虑呢?因为对自己的现状感到不满,想变得更好,可是又没有明确的路,摸索前行的过程中时常会感到迷茫。

阅读全文

为什么更新频率降低了呢?

Status

自从将博客从旧地址搬过来之后更新速度明显下降了好多,在过去的2016年里总共也没写几篇,甚至连年度总结都省去了。为什么博文更新频率降低了呢?为什么呢!?

阅读全文

分布式锁设计

分布式锁设计

阅读全文