如何搞定站内搜索的产品设计及应用（上）http://blog.xiqiao.info/2009/06/02/343

如何搞定站内搜索的产品设计及应用（中）http://blog.xiqiao.info/2009/06/03/357

如何搞定站内搜索的产品设计及应用（下）http://blog.xiqiao.info/2009/06/19/388

六 站内搜索的开发

我写下面的关于站内搜索的开发，是尽量用浅显的语言来解释开发原理和程序请求的流程，主要给非专业的技术人员看。

我一直非常反感有一些搞产品、搞UED的人会说几个名词 就认为这行好混的不得了，不研究也不学习，有的不看数据也不动脑子，有的看见了数据也不动脑子。 连一行数据库查询语句都不知道就敢说自己是研究信息架构的，我呸。操作了这个仪那个仪就觉得自己比开发人员还牛逼了，还替行业操心起出路来了。唉，这个行业如果哪天忽悠能少于50%，就算是有出路了。

搞产品应该懂得起码的开发原理，不要浮于专有词汇的表面。况且了解原理这事只要破除迷信，多读点真东西，一点都不难，也没有什么所谓的学科门槛之类的。我很想写一篇《搞产品应该懂的数据库命令》，来破除下非技术人员的代码恐惧症。

站内搜索的技术流程是：

• 第一步 提取原料：抓取网站页面或格式化数据。
• 第二步 把原料归类：建立索引，把关键字和页面一一对应上，分类放好（想象一下老式图书馆里的归档管理方法就能形象理解索引了）
• 第三步 听用户要上啥菜：响应用户的搜索需要，对用户输入的关键词进行分解，从索引中找到符合该关键词的所有相关网页。
• 第四步  摆盘上桌：对搜索结果页面进行排序，将页面标题、url、摘要等信息呈现给用户。

一步步细说：

第一步：提取原料：抓取网站页面或格式化数据。

抓取页面是使用一种叫蜘蛛的程序，一个网站中成千上万个页面是通过什么关联起来的？url。蜘蛛就是通过一个页面的url找到另一个页面再找到另一个页面，把所有能链到的页面遍历一边，记录下来。

通用搜索引擎（google baidu）的蜘蛛 很复杂，因为一个页面上可能有很多个url，每个url又关联着无数页面，整个网络像一棵树，假设首页是第一层，首页上的url关联的页面是第二层，第二层页面上url关联的页面是第三层……

蜘蛛抓取的顺序就会很重要，是沿着一个url一直爬下去，还是先爬完一层再爬一层；加密或需要用户登录后才能访问的内容怎么抓取；pdf、rar及多媒体文件怎么抓取，都有讲究。不同的抓取处理在有效性、效率和对 被爬网站的资源占用 上有很大差异。

当然站内搜索没有那么麻烦，一般是技术人员根据希望被纳入搜索的内容数据库 生成一份格式化的 xml文档，让蜘蛛直接抓取就行了。但是站内搜索在提抓取页面更新索引时，有一个指标比较高，那就是抓取的更新频率。

比如对于电商类网站，某些商品，特价、抢货啦，可能刚发布出来5分钟就卖完了，或者改价格了。但是用户听说促销啦，来网站上一搜，搜不到，或者搜到了点进去发现价格不对，用户就会不舒服。 这就是蜘蛛抓取页面的更新频率过低导致的。要解决这个问题并平衡性能与资源占用之间的矛盾，需要多种算法进行优化。

通用搜索 比如google、twitter在做这方面的努力，也就是做成实时搜索。但是站内搜索服务还鲜有尝试者，霍炬和余晟最近在做针对电商类的优化。目前可以做到即时更新，也就是发布后1分钟内就可以被搜索到。

第二步：把原料归类：建立索引。

建立索引这一步 集中了搜索引擎 的两大核心技术难点：索引结构和中文分词。

如果按照正常人的思维，索引应该是这样建立的：

• 把每篇文章存在文章索引表里（假定我们叫它doc索引），然后解析出该文章中有多少关键字，把关键字存在一个表里(我们叫它keyword索引)
• doc索引的大致结构就是：docID  | doc标题/内容 | doc的url及其它信息 | doc中每个keywordID 。
• 当用户输入关键字搜索的时，先找到关键字对应的keywordID, 然后查找到有哪些doc里包含做这个keywordID。

这种思路很符合逻辑，但是不好意思，在效率上几乎是不可行的。

因为在查找哪些doc里包含这个keyword的过程相当于 哗哗哗狂翻一本书来找里面的一个词。网站的doc索引条目动辄上万上十万，要是同时查找多个关键字，相当于多次狂翻一本十几万页的书，你说是不是累死了。

于是 就有一种更符合 程序运行方式的 索引建立方法。这就是倒排索引，也叫反向索引。 而上文中提到的符合正常人思维的叫正排索引。

倒排索引中“倒”的含义是指把doc索引和keyword索引的关联次序颠倒过来。在建立索引的时候，先建一张keyword表，结构是：“keywordID  | 关键字 | 存在哪篇doc中的哪个地方 ”

“存在哪篇doc中的哪个地方” 这个信息怎么表示？

通过一种叫映射的方法。通俗地举例：“北京”这个词出现在 id为0011文章的第2段第5行第3个字，可以表达为一个字符串 0010p2l5f3，所以“北京”这个词在keyword表里是可能这样写

“ k001 | 北京 | 0010p2l5f3 , 0010p5l1f9,0012p1l2f6……”

这是一个平面的结构，实际程序中当然不会这么简单处理，这样效率还是太低。会处理成一个有层次的结构，比如第一层只存docID  “k001 | 北京 | 0010，0010，0012……” ，第二层再存是属于哪一段哪一行等。

这样做的好处是 可以在第一层实现一次归并。因为搜索结果页面最先需要列出的只是那篇文章里包含哪个关键字，不需要具体位置，所以，当北京这个词在0010文章中多次时，第一层索引可以归并为为 “北京| 0010，0012 “ 这样结构又精简了。

索引的结构及存储方法对 搜索速度起致命的影响。

分词: 中文分词技术是中日韩专属的一个的高难度课题，研究了十几年了。而英文每个单词之间都有空格，没这个麻烦。

比如 “作家长平时常翻阅这本书” 这句话 人可以分成“ 作家 长平 时常 翻阅 这本 书”。但是计算机可能就分成了“ 作 家长 平时 常 翻阅 这本 书”。计算机不认得长平三个人名，分词错误就用户搜索长平的时候就得不到这条结果。

再例如，当用户输入 “和服”搜索时，出来第一屏都是 “产品和服务”，“化妆和服装自己搞定”，用户是不是很郁闷。

所以分词技术 对于 搜索的准确有效性 起关键作用。

基础的分词方法是机械切分，也叫二元切分。就是把一句话切成最小词单元，正向切分一次，再反向切分一次，比较下哪个更合理，再通过复杂算法识别出有效关键字。

更先进的方法是在机械切分的基础上使用合理的词库，地名、品牌名、机构、简称等需要词库。而不同行业如金融类、计算机类、商品类都有不同的专业词库。

还有基于人工智能和统计概率的分词算法，但是对于站内搜索这个量级的都不适用。

对于站内搜索而且，除了好的分词算法，更重要的是词库添加和统计功能。网站管理员可以根据用户搜索行为的统计分析 手动向词库内添加新词。

第三步：听用户要上啥菜：响应用户的搜索需要

• 用户输入的搜索条件可能是一句话，所以对用户搜索请求的解析也要用到分词技术。如果搜 “吉野家沙拉” 和 “吉野家 沙拉” 会得出不一样的搜索结果，就是比较差的搜索引擎了。
• 用户输入的关键字是对词库的有利补充。比如搜全聚德的人多了，全聚德显然是一个有效的专业词汇。
• 多个搜索关键字之间存在逻辑运算关系。逻辑运算。。不要怕，搞设计的人应该都知道布尔运算。。不知道？总知道反选、多选、选区交集吧。这就是逻辑运算中 非运算(not)、  或运算（or）、 与运算(and)。

用户的搜索条件是“美国 金融危机”如果采用 或运算，则文章中只要包含了 美国 或 金融危机 这两个词中的一个，都有可能被列为搜索结果。 如果采用 与运算，则只有同时包含了 美国 和金融危机这两个词的文章 采会被列进搜索结果。

所有搜索引擎都应该在输入搜索条件时，支持逻辑运算符。

对于通用搜索引擎，一般 多个关键词之间的空格 就默认代表了是 与运算(and) 的关系。可以通过输入逻辑运算符 来完成其它搜索需求。比如 可以使用 “哈希 OR Hash” 来搜索更多关于哈希算法的信息中英文都有， 也可以使用 “小李飞刀—电视剧” 来搜索除电视剧外的小李飞刀的信息。

对于站内搜索，1 没有通用搜索那么大的数据量 2 比搜索引擎专业性更强。所以站内搜索 多个关键字之间的空格 默认代表的是 或预算 的关系。但是会在呈现结果的排序上做文章，通过多种算法计算出相关性最高的文章排在前面，相关性弱的排在后面。这样可以帮助用户发掘到更多 关联性内容，结果呈现也更人性化。这是通常定义下的 站内全文检索 的一个重要特征。也是区别于数据库搜索的技术优势。

响应用户搜索条件的时候 还有字段匹配及权重的问题，一篇doc 可能有标题、摘要、正文、tag、作者等多字段信息存在doc索引库里。Keyword是出现在标题、摘要还是正文中时，权重是不一样的。

第四步 摆盘上桌：对搜索结果页面进行排序，

琢磨过SEO的同学一定知道，所谓搜索引擎优化 1是让蜘蛛能抓取自己网站上更多的页面2 让自己网站的页面在搜索结果里能排得更靠前。

这就要研究搜索引擎的排序算法。对于各个通用搜索引擎，排序算法是许多人的关注核心，每次权重调整都会带来巨大震荡。通用搜搜引擎都是在基于相关性排序上在加上各自的算法，如Google的专利pagerank就是通过页面之间的互链来判断页面的价值高低，再加上链接引用页面的PR值、是否在一个分类等 各种其它指标。

但是站内搜索，用互链这种方式来判定显然不靠谱，所以主要还是通过优化相关性的算法，计算keyword和DOC之间的关系，例如 keyword 在doc中出现的密度，词频， doc是否和 keyword 属于同一语义类别，doc的长度属性（短的doc应该降权之类的）等判定 keyword的搜索结果中，哪些doc更重要更有价值。

多个关键字的搜索条件，让算法更复杂，如何对多个关键字进行比较、两者的结果如何合并，两者的结果顺序如何穿插重排。

最后还要利用算法来优化 结果排序的速度和稳定性。

由此 才能得到站内搜索的相关度排序结果。

————————————————————————————

上面基本讲了站内搜索的原理，看到这会有很多人觉得站内搜索的开发是一个技术要求很高的应用。也的确是这样，一般网站很难养得起一批能开发搜索引擎的工程师，开发周期上也承担不起，关键也缺乏持续改造的动力。产品设计人员也很难想在这个重要应用上有所发挥，对产品进行一点优化和改造都会牵扯到巨大的开发工作量和成本压力。

搜索引擎核心和分词 现在有一些开源代码或开源词库可以使用，也可以选择租用成熟的站内搜索服务来解决开发问题。使用SAAS (软件即服务模式，现在一种流行的技术外包服务模式) 的优势在于可以根据网站的去业务逻辑定制搜索模式，且搜索这部分的数据结构是单独建立重新格式化过的，对站内搜索进行产品改造不会对网站本身的业务逻辑和数据结构造成任何影响。也可以不占精力成本地享受产品改造技术升级的好处。