您当前的位置:首页 > 电脑百科 > 站长技术 > 搜索引擎

个性化搜索的介绍,推荐和搜索的强强结合

时间:2020-05-28 10:56:25  来源:  作者:

作者:Pavel Kordík

编译:ronghuaiyang

导读

一般来说,搜索是非个性化的,不过如果和推荐系统组合起来,也会有意想不到的效果。

寻找正确的信息总是很困难的。在不久之前,文档还是存放在实际的物理仓库中,要找到相关的文档是非常困难的。

个性化搜索的介绍,推荐和搜索的强强结合

 

当文档可以通过在线存储库访问时,索引文档的数量开始超出物理存储的限制。电子商务网站提供的产品数量或通过在线流媒体服务提供的内容数量亦是如此。

用户倾向于在一个地方找到所有东西,他们中的大多数人喜欢从更相关的选择中进行挑选,所以服务提供商需要适应这种需求。一些全球性的服务(如谷歌、亚马逊、Netflix、Spotify),在飞快的增长,用户几乎在上面可以找到任何东西。推动它们在全球占据主导地位的最强大工具之一,是它们以机器学习技术为动力的高度先进的个性化技术。这些技术就是推荐系统个性化搜索

个性化搜索的介绍,推荐和搜索的强强结合

 

推荐系统使用用户与物品的交互的历史来为用户生成最相关物品的排序列表。搜索引擎根据与给定查询的相似度对内容进行排序,而不考虑用户的历史记录。

推荐系统使用户能够在线发现相关文档、产品或内容。通常,用户可能最喜欢的物品隐藏在数百万个其他物品中。用户无法通过搜索引擎直接找到这些商品,因为他们很少知道它们的标签,甚至可能不知道它们的存在。

另一方面,有时用户需要寻找一个特定的物品,并愿意通过表达他们的需求来帮助在线系统,以减少可能被推荐的物品的数量。

个性化搜索的介绍,推荐和搜索的强强结合

 

有几种方法可以帮助用户表达他们的需求。用户体验在这里扮演着非常重要的角色。很多用户通过他们的手机访问在线服务,但显示兴趣的能力有限。在线服务应该专注于利用所有可用信息过滤可能的搜索结果。

用户地理位置可以显著缩小可能的搜索和推荐结果。例如,在Recombee中,您可以选择推荐只包含距离用户位置一定范围内的物品。另一种方法是,当某个物品在地理位置上更接近某个用户时,你可以提高该物品被推荐的可能性。

个性化搜索的介绍,推荐和搜索的强强结合

 

用户希望使用特定的标签或类别过滤掉可能的搜索结果。它通常只需要一次点击就可以过滤除特定类别之外的所有物品(例如,除了科幻小说之外的所有文章)。应该让用户尽可能轻松地表达他们的兴趣。

一定比例的用户希望可以使用一个查询文本(即使只是几个字符)的方式来缩小搜索范围。他们的目的可能是找到一个特定类别的商品,或者通过他们知道的正在寻找的商品的标签直接来搜索一个特定的商品。他们输入的文本被称为a user query,这篇博客文章讨论了如何利用一个query来帮助用户找到她/他要找的东西。这篇博客文章从理论部分开始,然后是实践部分。

信息检索

为给定文本query寻找合适物品的问题作为信息检索(information retrieval, IR)已经研究了几十年。当用户向系统输入一个query时,信息检索过程就开始了。query是信息需求的正式形式,例如web搜索引擎中的搜索字符串。在信息检索中,query不能唯一地标识集合中的单个物品(文档)。相反,有几个物品能与query匹配,可能具有不同程度的相关性。

传统的方法试图将query与文档匹配,并根据相似度获得相关性。机器学习方法通过从训练数据构建一个排序模型来解决IR问题。这样的训练数据(对于搜索引擎来说)是什么样的呢?通常,它是对每个query进行“适当”排序的文档的集合。

以下是在相关博客中描述的IR系统方案:

个性化搜索的介绍,推荐和搜索的强强结合

 

经典的IR系统不是个性化的,它只是为一个query返回大部分相关的文档。机器学习通常是不需要的,因为系统遵循预定义的过程(如TF-IDF相似性查找)。

该系统通过匹配query和文档并计算它们的相似度来工作。大多数相似的文档都是按照与query的相似度排序返回的。相似度是计算出来的,比如TF-IDF向量的余弦相似度。

个性化搜索的介绍,推荐和搜索的强强结合

 

通过重新排序(使用机器学习模型)可以改进搜索结果。在本例中,还使用搜索引擎来减少机器学习模型的候选项的数量,从而使评分更快。

Learning to rank(LTR)是机器学习的一种应用,它根据人的期望对物品进行排序。LTR模型通常使用人类标记的数据进行训练。

在召回阶段,LTR模型获取由搜索引擎生成的一个query和返回的文档(项)的子集,作为每个物品的输入和输出相关性。最后,它可以输出一个经过排序的文档列表(k-最相关的文档)。请注意,现代系统还可以将用户属性文件作为输入,并执行个性化学习来对机器学习任务进行排序。

经典预测模型, learning to rank模型和推荐系统之间的区别是什么?

  • 预测模型/分类器通常只有几个输出属性,它们的设计目的不是为及百万用户进行几百万物品的排序。
  • Learning to Rank系统,对于给定的query,返回的结果是相同的列表,不涉及个性化。
  • 推荐系统不使用query,它们根据用户历史和用户之间的相似性生成相关物品。相关物品的计算方法是在评分矩阵中预测它们的评分,或者根据它们的属性推荐类似的物品。

下一节对LTR和推荐系统都很有用,因为模型的评估与机器学习中的经典预测模型是相似的。

评估LTR和推荐系统

累积收益度量通过learning to rank系统或推荐系统返回的前k项的相关性。

个性化搜索的介绍,推荐和搜索的强强结合

 

例如,我们可以把6个返回物品的相关性加起来(注意,第4项是不相关的)。

个性化搜索的介绍,推荐和搜索的强强结合

 


个性化搜索的介绍,推荐和搜索的强强结合

 

显示给用户的物品很少有统一的可见性方式。例如,在电子商务中,由于大多数用户不想向下滚动列表,所推荐的商品的可见性急剧下降。在媒体领域,一个内容经常被高亮显示,而其他内容则很难被发现。

CG的问题是它没有考虑到物品的位置。例如,第一个推荐可能有比其他五个大得多的图像显示。此外,用户倾向于浏览列表顶部的几个物品,而他们看到列表更下方的物品的可能性要小得多。基于这个原因,discounted cumulative gain(DCG)比简单的CG更受欢迎。

个性化搜索的介绍,推荐和搜索的强强结合

 

在DCG中,相关性值与结果的位置成对数比例递减。

个性化搜索的介绍,推荐和搜索的强强结合

 

DCG可以很容易地计算,如上例所示。

有些变体甚至更加强调检索列表顶部的相关物品。

个性化搜索的介绍,推荐和搜索的强强结合

 

假设一个数据集包含N个query。通常的做法是对每个query的DCG分数进行归一化,并得到所有query的平均DCG(“NDCG”)分数。有这样一个评价指标是很好的,但请记住现实世界是残酷的。

传统的LTR算法

  • Pointwise方法将排序转化为单个物品的回归或分类。然后,该模型一次只获取一个物品,它要么预测其相关性得分,要么将该物品归类到一个相关性类中。
  • Pairwise方法将问题处理为物品对的分类,即确定在第一个位置上的物品是不是具有更高的相关性,反之亦然。
  • Listwise方法把整个物品列表作为一个学习样本。例如,使用属于一个特定query的所有物品的得分,而不是仅通过比较成对或单个样本。

以下是一些LTR算法的例子:

PRank算法,使用感知器(线性函数)从文档的特征向量中估计文档的得分。query被附加到文档嵌入的特征向量中。我们还可以将文档分类为相关类(例如相关/不相关)。这个函数几乎可以用任何机器学习方法来建模。大多数算法使用决策树和森林。现代方法利用深度学习网络。

个性化搜索的介绍,推荐和搜索的强强结合

 

最终的排名列表是通过对所有文档进行评分并根据预测的相关性进行排序得到的。显然,当对模型进行输入嵌入和相应输出相关性的训练时,我们并没有直接最小化NDCG或其他上述评价标准。与Pointwise方法相一致,Pairwise方法也使用代理可微损失函数。

个性化搜索的介绍,推荐和搜索的强强结合

 

为了更好地理解pairwise方法,我们应该记住在二元分类中使用的交叉熵损失,它惩罚了模型的高置信度的错误的预测。

对数损失可以通过对0,1标签的损失求和来计算:−(y log(p) +(1−y) log(1−p))

正如你所看到的,错误的高置信度的答案得到很高的损失。

个性化搜索的介绍,推荐和搜索的强强结合

 

更多关于LTR系统的梯度训练算法可以在这里找到:
https://medium.com/recombee-blog/ 
//www.microsoft.com/en-us/research/wp-content/uploads/2005/08/icml_ranking.pdf。

Rankboost直接优化分类错误。它源自Adaboost,在文档对上进行训练。它训练弱分类器,将更多的权重赋给在前面步骤中没有正确分类的对。

RankSVM是第一批采用pairwise方法解决问题的算法之一。它以序数回归的方式进行排序,并对类的阈值进行训练。RankSVM采用hinge损耗函数最小化。它还允许直接使用kernel进行非线性处理。

listwise方法的动机

pairwise的方法很好,但也有缺点。训练过程是昂贵的,并且存在固有的训练偏差,在不同的query中差异很大。也只有pairwise的关系被考虑在内。我们想使用一个评价指标,能让我们优化完整的list,同时考虑到所有物品的相关性。

个性化搜索的介绍,推荐和搜索的强强结合

 

指数排序的优势在于,即使当模型f给所有文档分配相似的分数时,它们的最高概率也会非常不同 —— 最好的文档接近1,相关性较低的文档接近0。

个性化搜索的介绍,推荐和搜索的强强结合

 

这里,损失是针对一个文档列表计算的。我们不太关心不相关的文档Py(x)=0,最大的损失是由相关文档造成的。

如何得到LTR系统的训练数据?

获取LTR系统的训练数据可能是一个漫长而昂贵的过程。你通常需要一群人,人工来输入查询并判断搜索结果。关联判断也比较困难。评估人评估下列分数之一:

相关度 —— 二值:相关与不相关(适合pointwise)

pairwise偏好 —— 文件A比文件B更相关。

总的顺序 —— 文件按A、B、C、…,排序,根据它们的相关性。(对listwise来说很完美,但很耗时)

很明显,人工标注非常贵,而且它们的标签也不是很可靠。因此,应该从用户在网站上的行为来获得排名和训练系统。

更好的方法是用推荐系统代替上述的LTR算法。


个性化搜索回顾

当根据用户的偏好对搜索结果进行排序时,用户对搜索功能的总体满意度会显著提高。

个性化搜索的介绍,推荐和搜索的强强结合

 

个性化搜索还应该考虑用户偏好、历史交互和相似用户的交互。为什么不利用推荐系统呢?对于相同的搜索查询,两个用户可以期望非常不同的推荐。

解决方案是将搜索引擎与强大的推荐系统相结合,而不是像上面描述的那样将经典学习应用到机器学习(LTR)模型中。这种方法有几个优点,我们将在后续的博客文章中分析它们。

个性化搜索的介绍,推荐和搜索的强强结合

 

我们的个性化搜索方法结合了搜索引擎和推荐系统。首先,搜索引擎对推荐物品(与查询无关)进行重新排序,以过滤掉不相关的推荐,并推送与query匹配的物品及其描述。其次,搜索引擎返回最佳匹配的候选项,而不管用户属性文件或交互历史记录。然后,这些商品由推荐系统重新排序,以更好地适应每个特定用户的口味。最终结果由上游的排名投票产生。

英文原文:
https://medium.com/recombee-blog/introduction-to-personalized-search-2b70eb5fa5ae



Tags:个性化搜索   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
寻找正确的信息总是很困难的。在不久之前,文档还是存放在实际的物理仓库中,要找到相关的文档是非常困难的。...【详细内容】
2020-05-28  Tags: 个性化搜索  点击:(106)  评论:(0)  加入收藏
▌简易百科推荐
今天不讲信息流,讲点其他的,比如搜索搜索是什么东西?见过开店卖东西吧,原理大同小异。比如我在步行街租个店铺,开个鞋店,每天在店里等着来步行街的人进我店里买我的鞋。百度搜索就...【详细内容】
2021-12-24  运营王明皓    Tags:搜索   点击:(9)  评论:(0)  加入收藏
在过去的时间中,我写了比较多的关于谷歌SEO推广,今天来写写GoogleAds广告账户免费诊断分析。今天我们的主题是:如何借助GoogleAds广告账户免费诊断分析工具,来诊断并优化你的Goo...【详细内容】
2021-10-26  优易化海外营销推广    Tags:GoogleAds   点击:(43)  评论:(0)  加入收藏
霸屏通俗来讲就是霸占屏幕,百度霸屏就是在百度搜索的结果中,除了竞价内容,剩下的都是我们品牌词或网站的内容。以用户的搜索习惯来说,一般翻两三页就不会再继续翻下去了。所以我...【详细内容】
2021-10-22  聪少爱学堂    Tags:霸屏引流   点击:(50)  评论:(0)  加入收藏
网络推广计划表示在网站优化时,内容优化也是重中之重,其中有关文章的优化也让站长们苦恼不已,因为不太清楚蜘蛛对网站文章的质量评判是如何的,很难做到更精准的蜘蛛“取向”,那么...【详细内容】
2021-10-22  云霸屏    Tags:搜索引擎   点击:(45)  评论:(0)  加入收藏
我们在做SEO优化的过程中,通常都会用到百度站长平台、5118、站长工具等seo工具,用来分析查询关键词排名。特别是百度站长平台中的分析数据很多,其中百度站长工具中的流量与关键...【详细内容】
2021-10-22  双丝网络    Tags:百度站长平台   点击:(36)  评论:(0)  加入收藏
网络推广费用了解到,网站关键词排名效果想要更好,就要扎实的做好优化工作。关键词排名高的网站能更优秀的出现在搜索引擎首页,获得更多的用户浏览,得到更高的权重,从而给企业带来...【详细内容】
2021-09-25  云霸屏  搜狐号  Tags:蜘蛛   点击:(39)  评论:(0)  加入收藏
百度搜索贸易风算法,消除了使用翻页键诱导用户行为,简单地告诉我们,只要你的翻页按钮存在异常跳转行为,无论跳转到哪个页面,都属于该算法的覆盖范围。百度的搜索交易风算法主要攻...【详细内容】
2021-08-31  羽西223    Tags:信风算法   点击:(66)  评论:(0)  加入收藏
1 前言现今互联网上的很多产品、战略决策都由数据驱动,以BulletTech为例,在运营微信公众号时,通过后台数据我们对每篇文章都会进行流量来源、裂变和阅读完关注等重要指标的监控...【详细内容】
2021-08-02  BulletTech    Tags:Google Analytics   点击:(95)  评论:(0)  加入收藏
昨晚松松编辑杰哥了解到,百度搜索最近对算法更新了,全面升级“蓝天算法”2.0版本,主要针对高权重网站出租二级目录和二级域名行为,这是要开始加大清洗目录出租站点了吗? 根据杰...【详细内容】
2021-07-29  卢松松    Tags:蓝天算法   点击:(76)  评论:(0)  加入收藏
网罗天下谈运营2021-07-20在做SEO的过程中,对于企业主而言,没有人刚开始建立网站的时候就会先知先觉,采用完全正确的SEO优化方法,这很必然会导致一些问题,比如:① 站内目录层级繁...【详细内容】
2021-07-21  Lollipop    Tags:网站不收录   点击:(82)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条