CIKM 2019 挑战杯冠军方案分享:「初筛-精排」两阶求解框架

摘要:北京时间20191108关于【CIKM 2019 挑战杯冠军方案分享:「初筛-精排」两阶求解框架】的具体情况和说明,让www.lieqidy.com新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

作者 | 杨鲤萍

编辑 | 唐里

近日,在中国北京举办 CIKM 2019 AnalytiCup 中,由来自浙江大学、中央财经大学、阿里巴巴等机构组成的团队 WWG 摘得「用户行为预测」赛道的桂冠。

CIKM 是中国计算机学会(CCF)推荐的数据库/数据挖掘/内容检索领域的 B 类会议。CIKM AnalytiCup 挑战赛是会议同期举行的国际数据挖掘比赛,今年由 CIKM、阿里妈妈、阿里巴巴算法大学、阿里云天池共同承办,挑战赛分为两个赛道,用户兴趣高效检索(Efficient User Interests Retrieval)和用户行为多样性预测(Predicting User Behavior Diversities in A Dynamic Interactive Environment)。

我们将 WWG 团队冠军方案整理如下,希望能给开发者们一些经验与启发。(关于「用户兴趣高效检索」赛道冠军方案,我们也正在整理中,敬请期待~)

赛题简介和分析

基本问题

根据历史用户-商品交互行为、用户属性和商品属性,对给定用户进行未来点击预测,选出该用户未来三天最可能点击的商品 top50;其中,在复赛中需特别注意一点,即用户历史点击商品并不在未来可能出现的点击商品可选池中。

其中为用户在未来三天内的实际点击商品集合,为用户在未来三天内的预测点击商品集合,此处需要注意,预测点击商品集合的数量需满足,即返回商品数量严格约束为 50 个。

简要分析

仅仅看题目描述我们可以发现,这个题目本质上是一个召回预估问题。更具体的,这个问题应该以 u-i 对为输入,经过一定模型的判断,最终给出一个 u-i 对对应的分数,再根据每个 user 对应的 u-i 对分数从大到小的排序,取出 top50 的 item 作为最终得到预测点击商品集合。

同时,考虑到规模问题,对于千万级别的独立 user 和 item,直接去做全集的 u-i 对预测显然既不现实又不经济,因此我们在结题初期就确定了「初筛-精排」两阶段求解框架,如图 1 所示:

图 1 「初筛-精排」两阶段求解框架

图 2 层次偏好特征表达示意图

解决方案

在接下来的算法中,我们将基于类目的层次偏好称为显式层次偏好,将基于用户兴趣主题的层次偏好称为隐式层次偏好。我们的解决方案一共包含以下四部分:

图 3 解决方案大纲

数据预处理

由于数据集本身是存在不同日期,不同交互行为(点击,购买,加购,收藏)的,我们首先通过引入时间衰减因子和行为衰减因子两个超参数,对原始数据集进行处理,并构建完成 user-item 二部图(如图 4)。

与此同时,也根据 user 特征数据集和 item 特征数据集构建一系列统计特征,以及 user 和 item 的属性特征。

图 4 user-item 二部图

图 5 显性层次特征提取

隐式层次特征提取

隐式层次特征的提取相对困难,因为兴趣主题并不像类目一样,每个商品并没有被标定一个显式的兴趣主题。为了比较好的解决这一问题,我们提出 Hierarchical Graph Neural Network(HGNN)算法,对图结构进行表达。

具体的,我们对原始的 u-i 二部图做 GraphSAGE 算法,以具有边的 user,item 的向量表达相似(余弦相似度)为目标(注意,这里严格意义上应该区分两个向量空间,在比赛中我们为了提高效率将两个向量空间的维度设定成了相同的 16 维,因此可以实现余弦相似度的计算),做无监督的 Graph Embedding 训练。待网络稳定后,我们可以得到每个 user 和 item 的向量表达。这一向量即为该 user/item 的一级隐式特征。

为了表达出层次特性,我们根据 user/item 的一级隐式特征,分别在 user 和 item 的向量空间中做聚类(比赛中采用 K-means 聚类),以聚类簇的平均特征向量作为簇节点的向量,以簇间原始节点关联关系的统计作为簇与簇之间的关联(边)。这样,我们便通过聚类操作,将原始 u-i 二部图粗化,变为了一个以主题用户簇和主题商品簇为节点,节点数量更少的粗化图。对粗化图做和原始 u-i 二部图相同基于 GraphSAGE 的 Graph Embedding 操作,我们便可以得到粗化隐式特征,原始节点的二级隐式特征即为其所属簇的粗化隐式特征。

图 5 隐性层次特征提取

排序模型

在 Candidate Generation 阶段(初筛阶段),我们采用计算效率相对较高的显式层次特征(即采用协同过滤分)对所有商品进行初筛,对每个 user,保留其最有可能点击的 2000 个商品进行 Ranking 阶段的精排。需要注意的是,在初赛中历史商品也可能在未来曝光并被点击,所以历史商品无需特殊处理。而复赛阶段由于历史商品不会在未来曝光,所以复赛阶段在初筛阶段的结尾要对历史出现过的商品做筛除,以避免无效精排。

Ranking 阶段基本上每个 user 要处理 2000 个左右的商品,因此我们的预测模型选择了相对简单高效的 LR 模型,将前置工作中得到的显式层次特征,隐式层次特征和统计特征进行不同阶的特征交叉后引入 LR 模型后,将 LR 模型的输出作为排序分数, 取分数 top50 作为最终的预测结果进行输出。

这里交叉特征的引入本质是一个 kernel 函数的思想, 辅助提高了 LR 模型的非线性能力,我们先后采用了显性层次特征和隐性层次特征之间 2 阶的特征交叉以及 3 阶特征交叉; 分别对最后的模型效果有一定提升。

图 6 排序模型图

成果展示

以下是我们算法迭代过程中的一些重要节点:version1 基于协同过滤+统计特征version2 基于显性层次特征+统计特征version3 基于显性/隐形层次特征+统计特征version4 基于二阶结构特征交叉+统计特征version5 基于三阶结构特征交叉+统计特征

图 7 重要节点示意图

可以发现,通过引入层次结构特征,尤其是隐式层次结构特征的提取,我们对这一问题进行了较好的求解,从结论上可以看出,结构特征确实对整个预测准确度带来了较大的性能提升,后续对结构特征信息做了特征交叉之后,性能也有了进一步的提高。

总结及未来计划

本次比赛我们尝试了 Hierarchical GNN 模型来获取用户和商品的隐性层次特征,获得了非常不错的效果,由于比赛时间非常有限,我们的排序模型使用了 LR, 以便于快速迭代并调整相应参数,使用了 point-wise 的训练方式。

如果还有足够的时间,我们还会尝试更多的排序模型,比如 xgboost, deepFM, wide&deep 等,并对模型做相应的融合,再采样 pair-wise 的训练方式,相信还会进一步提升模型效果。

图 8 冠军获奖合影

关于冠军团队

本次冠军团队 WWG 的两位学生成员——孟宪令和焦宇航在阿里巴巴算法团队实习期间,参与了该比赛;比赛过程中,团队负责人李朝博士,以及两位师兄潘旭明和邹朋成在算法的创新和思路上给予了一定的辅导。

更多信息请参考大赛官网:

https://tianchi.aliyun.com/markets/tianchi/cikm19_en_copy?spm=a2c22.265802.1380778.2.4cdb2b2cFZlc5l&wh_ttid=pc

/ 更多阅读 /

点击 ,查看:追一科技CoQA冠军团队技术分享:基于对抗训练和知识蒸馏的机器阅读理解方案


查看更多
日本黄大片免费播放器 黄色片 日本一级特黄大片免色 特别黄的免费大片视频 黄色大片 黄网站 黄色免费网站 黄色电影免费片日本大片,视频,电影,大片,完整版,网站,全过程

实时推荐

何炅为何缺席湖南台双十一晚会?看到他的解释,网友:你也不容易
推荐 特别黄的免费大片视频 2019-11-14 16:58 758 659
女子违规骑车载3小孩,抢道大货车惨遭碾压,2名女童当场死亡
推荐 特别黄的免费大片视频 2019-11-14 16:58 243 3612
英国一公交司机发现雪地有两个小孩,衣着单薄,连忙带他们找家人
推荐 特别黄的免费大片视频 2019-11-14 16:58 430 7577
晒晒闺蜜新家,95㎡现代美式,温馨而精致
推荐 特别黄的免费大片视频 2019-11-14 16:58 956 9144
出击丨发现大货车违法超载超限?欢迎留言举报!
推荐 特别黄的免费大片视频 2019-11-14 16:58 783 588
10万级智能纯电SUV首选 2020款GE3 530焕新升级
推荐 特别黄的免费大片视频 2019-11-14 16:58 311 7332
轿车中的"油老虎",第1百公里油耗20L,你中招了吗?
推荐 特别黄的免费大片视频 2019-11-14 16:58 562 8280
佛山市举行中小学学科教育教研基地建设研讨活动
推荐 特别黄的免费大片视频 2019-11-14 16:58 423 2882
猎豹新CS10多项升级内外兼修 全面提升驾驶质感
推荐 特别黄的免费大片视频 2019-11-14 16:58 666 8475
为什么秋天的落叶大多是背面向上?
推荐 特别黄的免费大片视频 2019-11-14 16:58 174 8140
网友爆料王思聪不投钱致战队动荡 IG:谣言!保留追究法律责任权利
推荐 特别黄的免费大片视频 2019-11-14 16:58 619 3384
禅城区数字档案馆项目通过专家验收
推荐 特别黄的免费大片视频 2019-11-14 16:58 572 4033
为什么有名的中医都在农村里?城市有名中医却都不知道?
推荐 特别黄的免费大片视频 2019-11-14 16:58 481 4059
2019中国国际珠宝展开幕 品牌来相聚迈上新台阶
推荐 特别黄的免费大片视频 2019-11-14 16:58 168 1816
湖北高院:法官取保期间审案影响恶劣 支持严肃处理
推荐 特别黄的免费大片视频 2019-11-14 16:58 523 1176
禅城区民政局召开《佛山市禅城区村(社区)行政事务准入管理工作方案》宣讲会
推荐 特别黄的免费大片视频 2019-11-14 16:58 613 2434
原创 盘点那些值得二刷,重看依然爆哭不止的电影
推荐 特别黄的免费大片视频 2019-11-14 16:58 210 1803
王千源宋佳领衔主演 《你是凶手》曝终极预告
推荐 特别黄的免费大片视频 2019-11-14 16:58 816 1083
饺子馅鱼肉配羊肉是鲜,那么鱼肉配牛肉一定是鲜美至极
推荐 特别黄的免费大片视频 2019-11-14 16:58 700 1272
新手行车如何判断车距 通俗易懂
推荐 特别黄的免费大片视频 2019-11-14 16:58 488 1912
霍思燕同款,家有熊孩子到处乱糟糟?专业收纳大师告诉你!做错了
推荐 特别黄的免费大片视频 2019-11-14 16:57 720 1834
“聚焦紫东,打卡汤山” 第十一届汤山温泉文化旅游季11月开启
推荐 特别黄的免费大片视频 2019-11-14 16:57 764 2325
车后市场:寒冬还是暖春?看你如何选择
推荐 特别黄的免费大片视频 2019-11-14 16:57 582 5038
自主品牌,6.6秒破百SUV 哈弗F7x性能版问世,就问你心不心动?
推荐 特别黄的免费大片视频 2019-11-14 16:57 791 5902
人才井喷!1新人轰全队最高16分,CBA名帅又收获1锋线天才
推荐 特别黄的免费大片视频 2019-11-14 16:57 202 3117
AI助力智能清洁,福玛特越来越被人们接受
推荐 特别黄的免费大片视频 2019-11-14 16:57 240 6643
反派视角看大长今 东北亚美第奇家族 崔氏家族兴亡史
推荐 特别黄的免费大片视频 2019-11-14 16:57 267 9509
冷空气来去匆匆!未来两天我市气温略有回升,但早晨仍较清凉!
推荐 特别黄的免费大片视频 2019-11-14 16:57 241 3644
萧蔷张含韵杨幂王雅琦白冰佟丽娅,六位古装女神,谁最淡雅脱俗?
推荐 特别黄的免费大片视频 2019-11-14 16:57 942 3958
荣耀 V30 或有阿斯顿 · 马丁定制版机型 联名海报曝光
推荐 特别黄的免费大片视频 2019-11-14 16:57 812 3102
再次领教!周琦被球迷高喊垃圾话!疆球迷或不满!周琦将如何面对
推荐 特别黄的免费大片视频 2019-11-14 16:57 771 6527
4006、约旦(+1)vs澳大利亚
推荐 特别黄的免费大片视频 2019-11-14 16:57 480 1271
《小丑》豆瓣分下降,是在国内水土不服吗?
推荐 特别黄的免费大片视频 2019-11-14 16:57 116 6681
普睿司曼2019年前三季度销售额同比下滑5.5%
推荐 特别黄的免费大片视频 2019-11-14 16:57 409 3065
忻州云中河景区景色宜人
推荐 特别黄的免费大片视频 2019-11-14 16:57 512 9528
《小丑》电影:每个人都藏着一个小丑,大多数时候,都在笑着哭泣
推荐 特别黄的免费大片视频 2019-11-14 16:57 303 3275
谁说冬天不可以穿裙子?看戚薇3套裙装造型,性感又保暖
推荐 特别黄的免费大片视频 2019-11-14 16:57 649 709
奔驰车被天降酒瓶砸出洞“悬在城市上空的痛”怎么破
推荐 特别黄的免费大片视频 2019-11-14 16:57 563 3921
欲望不断膨胀:男子18年盗窃5000双丝袜,被判四年是轻是重?
推荐 特别黄的免费大片视频 2019-11-14 16:57 637 9053
耳背式助听器为什么要定制耳模
推荐 特别黄的免费大片视频 2019-11-14 16:57 477 2383
​定州市深入推进“扫黄打非”基层站点规范化标准化建设
推荐 特别黄的免费大片视频 2019-11-14 16:57 199 1963
唐县白求恩纪念医院北京专家门诊正式启用,医疗服务辐射保定西部230万人
推荐 特别黄的免费大片视频 2019-11-14 16:57 433 9794
“闺蜜”杀熟!骗财19万|案例
推荐 特别黄的免费大片视频 2019-11-14 16:57 344 4980
近光灯和刹车灯泡容易坏,而远光灯不容易坏?
推荐 特别黄的免费大片视频 2019-11-14 16:57 395 4748
《叩问初心》——最美奋斗者刘厚彬
推荐 特别黄的免费大片视频 2019-11-14 16:57 324 2587
“妈,你为什么不管我”,对孩子没有要求,是最不称职的父母
推荐 特别黄的免费大片视频 2019-11-14 16:57 258 2598
驾车细节常忽略 调整座椅和反光镜
推荐 特别黄的免费大片视频 2019-11-14 16:57 508 3544
双十一最值得入手的两款手机,一款高颜值,一款拍照更好
推荐 特别黄的免费大片视频 2019-11-14 16:57 857 4647
湖南省常德采菱城遗址简介
推荐 特别黄的免费大片视频 2019-11-14 16:57 515 6773
“天干物燥,小心火烛”,唐朝房屋多为木造,防火却只靠吼?
推荐 特别黄的免费大片视频 2019-11-14 16:57 668 2208
吉林女子学校进行消防应急安全疏散演练
推荐 特别黄的免费大片视频 2019-11-14 16:57 505 4364
高速堵车 您要这么做
推荐 特别黄的免费大片视频 2019-11-14 16:57 895 2632
古运河流经千年长安
推荐 特别黄的免费大片视频 2019-11-14 16:57 188 8774
凤翔县城关镇六营村入选2019年中国美丽休闲乡村
推荐 特别黄的免费大片视频 2019-11-14 16:57 125 2564
华为折叠机型明日开售、-5℃勿折叠,东北粉丝表示不服
推荐 特别黄的免费大片视频 2019-11-14 16:57 879 7424
轮胎缺气行驶了一段距离还能用吗?
推荐 特别黄的免费大片视频 2019-11-14 16:57 326 2561
渭滨交警铁骑将交通安全送进村
推荐 特别黄的免费大片视频 2019-11-14 16:57 922 8932
GimGoon与Tian谈及欧服经历:决赛前被欧洲人疯狂搞心态
推荐 特别黄的免费大片视频 2019-11-14 16:57 640 5616
汽车空调一会不出风一会出风是为什么
推荐 特别黄的免费大片视频 2019-11-14 16:57 325 9091
2019全明星赛暨2019LPL全明星周末投票排名:iG上单TheShy得票率第一,Uzi紧随其后
推荐 特别黄的免费大片视频 2019-11-14 16:57 625 3515
瘢痕增生与增生性瘢痕是一回事儿吗?
推荐 特别黄的免费大片视频 2019-11-14 16:57 772 6979
《黑色沙漠》开发商新作《PLAN8》首个预告片发布
推荐 特别黄的免费大片视频 2019-11-14 16:57 423 5775
湖大打造运载装备智能网联系统创新中心
推荐 特别黄的免费大片视频 2019-11-14 16:57 941 586
《御姐玫瑰:起源》新预告片放出 僵尸熊亮相
推荐 特别黄的免费大片视频 2019-11-14 16:57 399 908
筑牢安全红线 中建中新下疃安置房项目开展消防疏散应急演练
推荐 特别黄的免费大片视频 2019-11-14 16:57 262 5276
河西区千余盏新路灯解决夜行难题
推荐 特别黄的免费大片视频 2019-11-14 16:57 116 4168
看不懂的DC神作《小丑》到底有多牛?
推荐 特别黄的免费大片视频 2019-11-14 16:57 848 6584
《绯红沙漠》首个预告公布 讲述《黑色沙漠》前传
推荐 特别黄的免费大片视频 2019-11-14 16:57 976 5271
孔晓宏到宣城军分区、市退役军人事务局走访调研
推荐 特别黄的免费大片视频 2019-11-14 16:57 201 2379
泸州主城区自来水户表改造 年内改造1.8万户
推荐 特别黄的免费大片视频 2019-11-14 16:57 693 6956
《DokeV》首个预告片公布 开放世界MMORPG
推荐 特别黄的免费大片视频 2019-11-14 16:57 781 3482
差旅费车票抵扣,一定要注意这些事项!
推荐 特别黄的免费大片视频 2019-11-14 16:56 412 1074
东方快评丨李湘直播带货出现重大口误,电商主播的门槛需要抬一抬了
推荐 特别黄的免费大片视频 2019-11-14 16:56 864 5877
苏打绿复出在即,主唱却被提告侵权,队长阿福力挺吴青峰决心坚定
推荐 特别黄的免费大片视频 2019-11-14 16:56 763 8090
原创 龙族投靠暗天后有多悲惨,放弃尊严自断龙角,被当做移动血库使用
推荐 特别黄的免费大片视频 2019-11-14 16:56 806 1447
“对老公不离不弃”的3生肖女,非常重情重义,而且甘愿付出全部
推荐 特别黄的免费大片视频 2019-11-14 16:56 853 5373
乐山市政协副主席周鸿雁率政协委员到学校调研
推荐 特别黄的免费大片视频 2019-11-14 16:56 856 7638
揭东区光正实验学校组织师生开展志愿服务
推荐 特别黄的免费大片视频 2019-11-14 16:56 307 8566
不愧是领袖!赢球后,詹皇向霍华德一句话鼓励,火花主动加练三分
推荐 特别黄的免费大片视频 2019-11-14 16:56 217 8483
CBA榜首之争,吉林队惜败5分,完成升级后他们能战胜新疆队
推荐 特别黄的免费大片视频 2019-11-14 16:56 943 6841
百信通网络科技有限公司开展“中小企业政策宣传月”活动
推荐 特别黄的免费大片视频 2019-11-14 16:56 948 6204
眉山市两个省级农业标准化示范项目高分通过考核验收
推荐 特别黄的免费大片视频 2019-11-14 16:56 845 7669
胆囊息肉原因
推荐 特别黄的免费大片视频 2019-11-14 16:56 489 7211
乐山市文化和旅游发展领导小组2019年第三次会议召开
推荐 特别黄的免费大片视频 2019-11-14 16:56 324 9431
接口数量和性能两手抓的全新VAIO S15堪称是生产力笔电的标杆
推荐 特别黄的免费大片视频 2019-11-14 16:56 349 3876
泸溪达岚小学:校园封闭式管理共建平安校园
推荐 特别黄的免费大片视频 2019-11-14 16:56 505 3686
济宁市技师学院贺永红参加省技工院校联盟成立大会
推荐 特别黄的免费大片视频 2019-11-14 16:56 618 9562
美海军即将失去一员猛将:它已守护航母30多年 接班人仍不见踪
推荐 特别黄的免费大片视频 2019-11-14 16:56 648 511
峨眉山市第十七届人大常委会第二十七次会议召开 任命任巍为峨眉山市人民政府副市长、公安局长
推荐 特别黄的免费大片视频 2019-11-14 16:56 762 3277
因上春晚次数太多,蔡明和潘长江被热议,可2020年他俩可能依然在
推荐 特别黄的免费大片视频 2019-11-14 16:56 442 6194
教育部:学校要减少考试次数 禁止分班考试
推荐 特别黄的免费大片视频 2019-11-14 16:56 365 2501
八孔AJ1都是弟弟?高帮原价无人问津,中帮现在预售价3000起
推荐 特别黄的免费大片视频 2019-11-14 16:56 906 1506
澳大利亚多地遭山火威胁 防长考虑启动军事资源应对
推荐 特别黄的免费大片视频 2019-11-14 16:56 528 5305
厦门:家门口即可办理10项住房业务
推荐 特别黄的免费大片视频 2019-11-14 16:56 195 4386
吃饭时可以喝水喝汤吗?医生给出了答案
推荐 特别黄的免费大片视频 2019-11-14 16:56 674 4016
竞彩推荐:满满的单关,精选五串一,中国客场能否顺利拿下三分
推荐 特别黄的免费大片视频 2019-11-14 16:56 166 4962
​来南北湖,感受体育味十足的户外休闲游
推荐 特别黄的免费大片视频 2019-11-14 16:56 470 5748
CBA最新排行榜!球队榜和球员榜最新数据出炉
推荐 特别黄的免费大片视频 2019-11-14 16:56 182 4600
湖人大胜太阳,然太阳不可小视,黑马实力异常强大
推荐 特别黄的免费大片视频 2019-11-14 16:56 442 9736
捷克赢球锁定出线名额
推荐 特别黄的免费大片视频 2019-11-14 16:56 322 7425