淘宝搜索引擎的原理(淘宝搜索引擎的原理是什么)

内容来源：他家真能上更新时间：2023-06-02 19:14:58

你是不是想了解淘宝搜索引擎的原理的相关内容，下方文本框内是根据关键词淘宝搜索引擎的原理生成的详细文字解说内容。在文本框下方还有跟淘宝搜索引擎的原理相关的素材（来自互联网，禁止商用）、相关话题（来自访客喜好数据）、相关热点（来自24小时内全网热点智能聚合），希望这些内容都可以帮到你。

淘宝搜索算法现状|人人都是产品经理.comment--location{display:flex;margin-top:8px;align-items:center;font-size:14px!important;padding-left:10px;color:rgba(0,0,0,.5)!important;fill:rgba(0,0,0,.5)!important;}.comment--locationsvg{margin-right:5px;}AI人工智能业界动态交互体验产品经理产品设计产品运营分析评测创业学院区块链原型设计大咖分享文案策划新零售营销推广讲座沙龙淘宝搜索算法现状kevin10年前【7哥导读】本文是由淘宝搜索算法总监青峰写的算法现状，介绍了算法模型、线下评估、线上测试的机制。对于希望了解淘宝搜索算法的同学很有帮助。作者介绍：青峰，淘宝搜索算法总监。淘宝搜索排序的目的是帮助用户快速的找到需要的商品。从技术上来说，就是在用户输入关键词匹配到的商品中，把最符合用户需求的商品排到第一位，其它的依次排在后续相应的位置。为了更好的实现这个目标，算法排序系统基本按三个方面来推进：一．算法模型当用户输入关键词进行搜索的时候，系统依据算法模型来给匹配到的每个商品进行实时的计算，并按照分数的大小对商品进行排序。对于好的算法模型，首先需要考虑我们能够有哪些特征因子可以应用。比如在网页搜索中，算法模型基本就是按网页的重要性和相关性给网页计算一个分数，然后进行排序。这里的相关性，和重要性就是网页排序模型中两个重要的因子。具体来说相关性因子是指搜索关键字在文档中出现的度数，当这个度数越高时，则认为该文档的相关程度越高。重要度因子比如Google的Pagerank，可以理解为一个网页入口超级链接的数目：一个网页被其他网页引用得越多，则该网页就越有价值。特别地，一个网页被越重要的网页所引用，则该网页的重要程度也就越高。考虑淘宝搜索的时候，有些特征因子是很容易能想到的，比如A．文本的相关性：关键词和商品的匹配，匹配的程度，是否重要词的匹配，匹配词之间的距离等，都可能影响相关性。比如搜索“小鸭子洗衣机”的时候，一个商品的中心词是洗衣机的要比卖洗衣机配件商品的相关性高，小鸭子连在一起的相关性要比“小”和“鸭子”分开时候的相关性高等。文本相关性最基本的计算方式可以参考BM25等。B．类目热点：淘宝数据的一个重要特质是每个商品都挂靠在类目属性体系下面，每个商品都做了一个很好的分类。在搜索过程中，同一搜索词的大量用户行为数据很容易聚焦到相应的热点类目，比如“手机”的搜索行为会集中到手机类目，而不是配件类目。C．图片质量：图片是电子商务网站非常重要的一个数据，图片是否精美吸引人，图片上是否有各种各样的“牛皮癣”，和商品匹配度等都很大程度上影响着用户的点击和购买决策。D．商品质量：每个商品都有不同的质量，商品的描述真实性，是否物美价廉，受人欢迎的程度等E．作弊因子：类似于全网搜索有关键词堆砌，linkspam，网页重复等等作弊的问题，电子商务搜索也面临同样的问题，比如商品关键词堆砌，重复铺货，重复开店，广告商品引流等等，也有商品特有的问题如价格作弊，交易作弊等，需要利用统计分析或者机器学习来做异常行为，异常规律的发现和识别并运用到排序中F．公平因子：淘宝的商品很丰富，每个搜索词下都有足够多的商品在竞争，需要在相似质量的情况下让更多的商品和卖家有展示的机会，而不是像网页搜索一样是一个基本静态的排序，照成商品点击和展示的马太效应。类似的商品，卖家，买家，搜索词等方面的特征因子有很多，一个排序模型就是把各种各样不同的特征因子组合起来，给出一个最终的关键词到商品的相关性分数。只用其中的一到两个特征因子，已经可以对商品做一些最基本的排序。如果有更多的特征参与到排序，我们就可能得到一个更好的排序算法。组合的方法可以有简单的人工配置到复杂的类似LearningtoRank等的学习模型。那么如何衡量不同算法之间的优劣呢？二．线下评估算法模型的评估一般分为线下的评估和线上的评估，线下的评估很多都体现在搜索中常用的相关性（Relevance）指标。相关性的定义可以分为狭义相关性和广义相关性两方面，狭义相关性一般指检索结果和用户查询的相关程度。而从广义的层面，相关性可以理解为用户查询的综合满意度。当用户在搜索框输入关键词，到需求获得满足，这之间经历的过程越顺畅，越便捷，搜索相关性就越好。在淘宝搜索衡量狭义相关性的时候，一般是使用PI（PerItem）测试的方法：A．抽取具有代表性的查询关键词，组成一个规模适当的关键词集合B．针对这个关键词集合，从模型的产出结果中查询对应的结果，进行人工标注（人工判断为相关性好，中，差等）.对人工评测的结果数据，使用预定义好的评价计算公式比如DCG等，用数值化的方法来评价算法模型的结果和标注的理想结果的接近程度利用人工标注数据来计算相关性的分数，来判断模型的好坏；在这个过程中人工不可避免的会有主观的判断，但综合了多人的判断结果还是可以获得一个有统计意义的结果，另一方面标注数据也可以帮助我们找到一个算法表现不理想的地方，有针对性的提升。广义的相关性线下评测比较困难，受人工主观因素的影响更大，一般使用SBS（SidebySide）的评测方法，针对一个关键词，把两个不同算法模型产出的结果同时展示在屏幕上，每次新模型和对比模型展示的位置关系都是随即的，人工判断的时候不知道哪一边的数据是新模型的结果，人工判断那一边的搜索结果好，以最终的统计结果综合来衡量新模型和老模型的搜索表现。线下评测的方法和指标有很多，不同的搜索引擎会关注不同的指标，比如以前Yahoo的全网搜索引擎比较关注RCFP（Relevance，Coverage，Freshness，Perspective）等，淘宝搜索线下评测时候一般统计DCG和SBS的指标。线下的评测方法从统计上有一定的指导意义，能从一定程度上区分模型的好坏，但要真正验证算法模型的好坏，还需要接受真实的流量来验证。三．线上测试为了真实验证一个算法模型的好坏，需要有一个系统能提供真实的流量来检验。淘宝搜索实现的BTS（BucketTestingSystem）系统就是这样的一个环境，在用户搜索时，由搜索系统根据一定的策略来自动决定用户的分组号（Bucketid），保证自动抽取导入不同分组的流量具有可对比性，然后让不同分组的用户看到的不同算法模型提供的结果。用户在不同模型下的行为将被记录下来，这些行为数据通过数据分析形成一系列指标，而通过这些指标的比较，最后就形成了不同模型之间孰优孰劣的结论。只要分组的流量达到一定的程度，数据指标从统计意义上就具有可比性。不同的BTS系统会关注不同的数据指标，在淘宝搜索，有一些重要的指标是很多算法模型测试的时候关注的：访问UV成交转化率：来淘宝搜索的UV，最终通过搜索结果成交的用户占比。IPV-UV转化率：来淘宝搜索的UV，有多少比例的用户点击了搜索结果CTR：搜索产生的点击占搜索产生的PV的比例客单价：每个成交用户在淘宝搜索上产生成交的平均价格基尼系数：基尼系数是一个经济学名词，考量社会财富的集中度；如果社会财富集中到很少一部分富人手中的时候，基尼系数就会增大，社会的稳定性和可持续发展性就会出现问题；淘宝搜索借用了这个概念来衡量搜索带给卖家的PV展示，和点击的集中度，在保证用户体验的前提下，给更多的优质或小小而美的卖家展示的机会。大部分时候我们都有好几个模型和功能在线上测试，我们用BTS的方式来观察测试的情况，如果提升稳定就逐渐开放给所有用户，如果没有提升，我们也能从中获得经验帮助我们更好的理解用户。文章来源：鬼脚七的微信本文由“人人都是产品经理”QQ群④群的Charles-PM-北京推荐搜索算法淘宝淘宝搜索{{postmeta.bookmark}}{{postmeta.postlike}}3年B端产品经理应该是什么水平？跳槽的时候我知道了真相推荐06-01喜欢此内容的还喜欢ChatGPT哲学之谜孤独大脑2月前优酷限制账号共享，谁伤谁赚？新熵5月前【经验分享】新手产品经理必学技术接口文档知识产品锦李5月前数据治理——落地总结一个数据人的自留地4月前谁卡住了中国GPT的“脖子”？自象限2月前浅析亚马逊ERP-产品模块Sunny4月前你使用过导购软件吗？斑马5月前饿了么到店并入高德，快手积极入局，本地生活能否再生变局？鲸商3月前抖音网页版上线“放映厅”，真能免费看电影了？小雷哔哔5月前协同办公产品设计，看这一篇就够了（3）｜流程协同产品的特性58UXD3月前商业银行的信贷工厂设计思路游善朱哥3月前ChatGPT火爆的B面：翻车、蹭概念、割韭菜一刻商业4月前©2023-人人都是产品经理×更多热门文章如何设计会员产品「四步」透析高效人士的底层逻辑，让工作效能最大化肯德基、喜茶、宜家都在做的新营销，背后有何逻辑？var_bdhmProtocol=(("https:"==document.location.protocol)?"https://":"http://");document.write(unescape("%3Cscriptsrc='"+_bdhmProtocol+"hm.baidu.com/h.js%3Fb85cbcc76e92e3fd79be8f2fed0f504f'type='text/javascript'%3E%3C/script%3E"));wx.config({debug:false,appId:'wxac278921951c09c8',timestamp:1685703581,nonceStr:'y6fP5T8e6GXcOvWD',signature:'00cfe61326f77fc31fa64340b1f5475bcf57a1da',jsApiList:['onMenuShareTimeline','onMenuShareAppMessage']});wx.ready(function(){wx.onMenuShareAppMessage({title:'淘宝搜索算法现状',//分享标题desc:'你的好友Lucy刚看了这篇文章^O^',//分享描述link:'https://www.woshipm.com/operate/38427.html',//分享链接imgUrl:'https://image.woshipm.com/wp-files/2013/08/0-1.jpg',//分享图标type:'',//分享类型,music、video或link，不填默认为linkdataUrl:'',//如果type是music或video，则要提供数据链接，默认为空success(){varvavaUrlread='https://api.wpista.com/api/v1/track/post?site=woshipm&post_id='+38427+'&score=50&type=wxfriend';varvavaImageread=newImage;vavaImageread.src=vavaUrlread;jQuery('.share-success-wrapper').addClass('show');},cancel:function(){}});wx.onMenuShareTimeline({title:'淘宝搜索算法现状',//分享标题link:'https://www.woshipm.com/operate/38427.html',//分享链接imgUrl:'https://image.woshipm.com/wp-files/2013/08/0-1.jpg',//分享图标success(){varvavaUrlread='https://api.wpista.com/api/v1/track/post?site=woshipm&post_id='+38427+'&score=50&type=wxpyq';varvavaImageread=newImage;vavaImageread.src=vavaUrlread;jQuery('.share-success-wrapper').addClass('show');},cancel:function(){//用户取消分享后执行的回调函数}});});/**/varUID=PURE.user_id;varopenAppObj={"pageURL":"https://api.woshipm.com/page/woshipm/articleOrActiveDetail.html?newsId="+PURE.id};openAppObj=JSON.stringify(openAppObj);varurl="https://api.woshipm.com/common/openApp.html?params="+Base64.encode(openAppObj)jQuery("#mob-btn").attr("href",url);