您好、欢迎来到现金彩票网!
当前位置:秒速时时彩开奖 > 算法正确性 >

4个方面聊聊:电商搜索算法技术的演进

发布时间:2019-06-03 23:34 来源:未知 编辑:admin

  线上课程 产品新人如何快速提升Axure能力?这样学,标准低保真/高保线日

  产品小白专属,10周线上特训,测、练、实战,22位导师全程带班,11项求职服务,保障就业!了解一下

  搜索推荐算法多年的发展,就是围绕着商品与人的连接以及相应的商业诉求,从最初简单的统计模型、机器学习到形成完整的离线在线与实时的深度学习与智能决策体系,让连接匹配的质量更高,连接的广度更宽。

  从数据更新角度来看,淘宝的数据变化和更新非常快。每天大量的新商品数据被上传到网站,一旦新商品被上传,这个商品就需要被搜索到。不像网页搜索,任何人可以发布新的网页,但是否被搜索引擎收录是另一回事。

  同时在淘宝每天有大量的商品不停地在做更新,包括商品标题描述的变化,商品价格的改变,商品图片的更新,商品的上下架等等,这些变化也需要实时的更新到搜索中,以便让用户及时找到更新后的商品信息。而在全网搜索中,很多网页是静态不变,网页之间的相互关系也变化缓慢,大量索引的更新没有类似淘宝搜索这种实时性的需求。

  从搜索数据源来看,淘宝商品的图片在用户研究和购买过程中起到了很大作用,搜索的展现结果中有很大一部分被图片所占据。如何更有效地利用图片的信息,无论是根据图片来做检索,或是考虑图片的质量,图片与文本的相互关系等都是淘宝搜索需要考虑和处理的。

  另外一个特点是全链路特性。搜索,比较以及购买都发生在淘宝站内,不像一般的全网搜索引擎,用户搜索完后就跳离到其它网站,搜索前和搜索后的用户行数据是很难拿到的。

  最后更重要的一点淘宝是一个生态系统,而搜索排序算法的设计,不只是体现了搜索本身的技术追求,也包含了更多的商业诉求。在全网搜索中,一般的网页是不是被索引,被索引后是不是能展现,对网页的拥有者来说并不是一个事关生活的决定点。

  这时候参与排序的因子也越来越多,从一开始的类目相关性与文本相关性,商品人气分;再后来为了平衡卖家流量,加入的卖家分;再后来为了更好的用户体验,加入了个性化人与商品的点击预估,图像质量等因素等等,开始使用类似Learning to Rank(LTR)方法,根据商品的点击、成交数据构造学习样本,学习回归出排序权重。

  我们逐步实现了“实时特征”-“实时排序因子模型”-“实时顶层LTR/Bandit模型”,完成了三位一体的实时化建设。我们先后实现了秒级更新的基于pointwise的FTRL、基于pairwise的实时矩阵分解模型和实时双线性模型等一系列微观特征,并在此基础之上实现了实时Learning to rank,以及实时Multi-Armed Bandit等宏观调控模型,实现了双链路实时系统的升级。

  与此同时,在线学习系统强有力地支持了对流量的精准调控,可以更迅速有效地实现商业决策。此外,我们还将在线学习的算法部分抽象出来,建立了一个通用的一站式在线机器学习算法平台AOP(Algorithm One-stop Platform),使得建立和部署在线学习模型更加得便捷和高效,同时具有高度可扩展性。

  在语义搜索领域,我们设计并实现了Query的表征学习框架,通过多任务学习和协同训练等技术,为Query的打标、类目预测、改写以及推荐等一系列应用提供统一的表征向量。与此同时,我们还实现了商品的表征学习框架,为商品内容理解,商品智能创意,商品语义召回和语义匹配提供统一的商品表征。

  在搜索个性化领域,我们通过多项技术对原先的个性化系统进行了升级:通过多任务学习的深度用户感知模型,我们可以从海量用户行为日志中学习用户的通用表达,从而用于用户行为识别、偏好预估、个性化召回、个性化排序等任务。

  通过多模态融合学习,我们可以将商品的文本、图像、标签、品牌、类目、店铺及统计特征等多维度特征自动的融合在一起形成统一的商品表征;通过在线深度排序学习,我们融合了用户状态实现更加精准的千人千面的排序模型;通过向量召回引擎,我们得到了泛化更好的召回结果,有效提升了关键字和个性化匹配深度;通过深度迁移学习,我们将搜索个性化技术在搜索之外的多个场景得到广泛应用。

  在智能决策领域,我们针对用户在搜索过程中和引擎的交互特点,对用户的决策序列进行建模,提出了提出搜索会话马尔科夫决策过程模型,将强化学习引导到搜索排序。同时在针对不同场景下搜索结果趋同,浪费曝光问题,我们提出了基于多智能体协同学习实现了搜索多个异构场景间的环境感知、场景通信、单独决策和联合学习,实现联合收益最大化,而不是此消彼长。

  比如:用户搜索了“性感连衣裙”,可能是想找“去参加晚场party的低胸晚装裙”,也可能是想找“去海边度假的露肩沙滩裙”;用户收藏了“登山鞋”和“拐杖”,可能有“登山装备”的需求,需要发现更多的和登山装备相关的其它品类商品;一个有孩子的爸爸,在暑假刚开始时,挑选“转换接头”,查看“大英博物馆门票”,可能是想带着家人一起“暑期英国亲子游”,需要发现更多相关的其它品类商品。

  实现认知智能,首先需要我们对用户、商品、卖家等有更深入的认知,系统化的建立起电商领域的认知知识体系。下图展示了我们定义的电商人-货-场三维的认知图谱,由四部分组成,包括用户、场景、类目(淘宝类目/虚拟类目)和商品。这些不同类型的概念构建成了一个异构图,来实现用户-场景-商品的关联以及各维度数据的深刻认知。

  从商品端来看,场景可以理解为一种具有语义解释的商品关系描述,例如:同属“中秋送礼”这一个场景的商品具备在中秋节作为礼物的商品属性。

  从用户端来看,场景可以看作是对用户需求的概念化描述,例如:“户外烧烤”、“度假穿搭”等。

  因此我们也可以说,场景是连接用户与商品的桥梁。这些场景关系既可以是通过行为数据挖掘获得,也可以是行业或专家知识的输入。场景,类目与商品最终组成统一的场景图谱。

  认知图谱和在线图计算与推理引擎的背后,一方面是一系列我们已经有沉淀和积累的技术的深度应用,包括知识表示存储与推理、信息检索、自然语言处理等一些传统技术;

  另一方面,认知图谱可以和深度学习、强化学习等近年来取得突破性进展的技术进行深度融合,例如:实体和关系的向量化表示(embedding),使得实体的检索和关系的推理从离散走向连续。

  认知图谱作为优化约束同现有的深度监督网络进行融合,将领域知识更加平滑的应用到模型中,而不是简单的规则生效。知识的推理过程中引入序列决策过程建模,使用强化学习减少搜索空间以加速推理过程等等。

  有了认知图谱和在线推理引擎之后,在全域的搜索推荐导购、智能交互和内容生成等各领域上,都会发生各种精妙的化学反应。并且在认知应用过程中,根据用户对认知推理结果的反馈,系统持续迭代优化的认知图谱以及推理算法,从而提升认知计算能力。逐渐地,我们可以建设完成具备自学习能力、推理能力和验证能力的全方位的电商认知智能化体系。

  人人都是产品经理(是以产品经理、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位服务产品人和运营人,成立8年举办在线+期,线+场,产品经理大会、运营大会20+场,覆盖北上广深杭成都等15个城市,在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一起成长。

http://homeschoolwwh.com/suanfazhengquexing/149.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有