CIKM 2019 挑战杯冠军方案分享:「初筛-精排」两阶求解框架

摘要:北京时间20191108关于【CIKM 2019 挑战杯冠军方案分享:「初筛-精排」两阶求解框架】的具体情况和说明,让www.lieqidy.com新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

作者 | 杨鲤萍

编辑 | 唐里

近日,在中国北京举办 CIKM 2019 AnalytiCup 中,由来自浙江大学、中央财经大学、阿里巴巴等机构组成的团队 WWG 摘得「用户行为预测」赛道的桂冠。

CIKM 是中国计算机学会(CCF)推荐的数据库/数据挖掘/内容检索领域的 B 类会议。CIKM AnalytiCup 挑战赛是会议同期举行的国际数据挖掘比赛,今年由 CIKM、阿里妈妈、阿里巴巴算法大学、阿里云天池共同承办,挑战赛分为两个赛道,用户兴趣高效检索(Efficient User Interests Retrieval)和用户行为多样性预测(Predicting User Behavior Diversities in A Dynamic Interactive Environment)。

我们将 WWG 团队冠军方案整理如下,希望能给开发者们一些经验与启发。(关于「用户兴趣高效检索」赛道冠军方案,我们也正在整理中,敬请期待~)

赛题简介和分析

基本问题

根据历史用户-商品交互行为、用户属性和商品属性,对给定用户进行未来点击预测,选出该用户未来三天最可能点击的商品 top50;其中,在复赛中需特别注意一点,即用户历史点击商品并不在未来可能出现的点击商品可选池中。

其中为用户在未来三天内的实际点击商品集合,为用户在未来三天内的预测点击商品集合,此处需要注意,预测点击商品集合的数量需满足,即返回商品数量严格约束为 50 个。

简要分析

仅仅看题目描述我们可以发现,这个题目本质上是一个召回预估问题。更具体的,这个问题应该以 u-i 对为输入,经过一定模型的判断,最终给出一个 u-i 对对应的分数,再根据每个 user 对应的 u-i 对分数从大到小的排序,取出 top50 的 item 作为最终得到预测点击商品集合。

同时,考虑到规模问题,对于千万级别的独立 user 和 item,直接去做全集的 u-i 对预测显然既不现实又不经济,因此我们在结题初期就确定了「初筛-精排」两阶段求解框架,如图 1 所示:

图 1 「初筛-精排」两阶段求解框架

图 2 层次偏好特征表达示意图

解决方案

在接下来的算法中,我们将基于类目的层次偏好称为显式层次偏好,将基于用户兴趣主题的层次偏好称为隐式层次偏好。我们的解决方案一共包含以下四部分:

图 3 解决方案大纲

数据预处理

由于数据集本身是存在不同日期,不同交互行为(点击,购买,加购,收藏)的,我们首先通过引入时间衰减因子和行为衰减因子两个超参数,对原始数据集进行处理,并构建完成 user-item 二部图(如图 4)。

与此同时,也根据 user 特征数据集和 item 特征数据集构建一系列统计特征,以及 user 和 item 的属性特征。

图 4 user-item 二部图

图 5 显性层次特征提取

隐式层次特征提取

隐式层次特征的提取相对困难,因为兴趣主题并不像类目一样,每个商品并没有被标定一个显式的兴趣主题。为了比较好的解决这一问题,我们提出 Hierarchical Graph Neural Network(HGNN)算法,对图结构进行表达。

具体的,我们对原始的 u-i 二部图做 GraphSAGE 算法,以具有边的 user,item 的向量表达相似(余弦相似度)为目标(注意,这里严格意义上应该区分两个向量空间,在比赛中我们为了提高效率将两个向量空间的维度设定成了相同的 16 维,因此可以实现余弦相似度的计算),做无监督的 Graph Embedding 训练。待网络稳定后,我们可以得到每个 user 和 item 的向量表达。这一向量即为该 user/item 的一级隐式特征。

为了表达出层次特性,我们根据 user/item 的一级隐式特征,分别在 user 和 item 的向量空间中做聚类(比赛中采用 K-means 聚类),以聚类簇的平均特征向量作为簇节点的向量,以簇间原始节点关联关系的统计作为簇与簇之间的关联(边)。这样,我们便通过聚类操作,将原始 u-i 二部图粗化,变为了一个以主题用户簇和主题商品簇为节点,节点数量更少的粗化图。对粗化图做和原始 u-i 二部图相同基于 GraphSAGE 的 Graph Embedding 操作,我们便可以得到粗化隐式特征,原始节点的二级隐式特征即为其所属簇的粗化隐式特征。

图 5 隐性层次特征提取

排序模型

在 Candidate Generation 阶段(初筛阶段),我们采用计算效率相对较高的显式层次特征(即采用协同过滤分)对所有商品进行初筛,对每个 user,保留其最有可能点击的 2000 个商品进行 Ranking 阶段的精排。需要注意的是,在初赛中历史商品也可能在未来曝光并被点击,所以历史商品无需特殊处理。而复赛阶段由于历史商品不会在未来曝光,所以复赛阶段在初筛阶段的结尾要对历史出现过的商品做筛除,以避免无效精排。

Ranking 阶段基本上每个 user 要处理 2000 个左右的商品,因此我们的预测模型选择了相对简单高效的 LR 模型,将前置工作中得到的显式层次特征,隐式层次特征和统计特征进行不同阶的特征交叉后引入 LR 模型后,将 LR 模型的输出作为排序分数, 取分数 top50 作为最终的预测结果进行输出。

这里交叉特征的引入本质是一个 kernel 函数的思想, 辅助提高了 LR 模型的非线性能力,我们先后采用了显性层次特征和隐性层次特征之间 2 阶的特征交叉以及 3 阶特征交叉; 分别对最后的模型效果有一定提升。

图 6 排序模型图

成果展示

以下是我们算法迭代过程中的一些重要节点:version1 基于协同过滤+统计特征version2 基于显性层次特征+统计特征version3 基于显性/隐形层次特征+统计特征version4 基于二阶结构特征交叉+统计特征version5 基于三阶结构特征交叉+统计特征

图 7 重要节点示意图

可以发现,通过引入层次结构特征,尤其是隐式层次结构特征的提取,我们对这一问题进行了较好的求解,从结论上可以看出,结构特征确实对整个预测准确度带来了较大的性能提升,后续对结构特征信息做了特征交叉之后,性能也有了进一步的提高。

总结及未来计划

本次比赛我们尝试了 Hierarchical GNN 模型来获取用户和商品的隐性层次特征,获得了非常不错的效果,由于比赛时间非常有限,我们的排序模型使用了 LR, 以便于快速迭代并调整相应参数,使用了 point-wise 的训练方式。

如果还有足够的时间,我们还会尝试更多的排序模型,比如 xgboost, deepFM, wide&deep 等,并对模型做相应的融合,再采样 pair-wise 的训练方式,相信还会进一步提升模型效果。

图 8 冠军获奖合影

关于冠军团队

本次冠军团队 WWG 的两位学生成员——孟宪令和焦宇航在阿里巴巴算法团队实习期间,参与了该比赛;比赛过程中,团队负责人李朝博士,以及两位师兄潘旭明和邹朋成在算法的创新和思路上给予了一定的辅导。

更多信息请参考大赛官网:

https://tianchi.aliyun.com/markets/tianchi/cikm19_en_copy?spm=a2c22.265802.1380778.2.4cdb2b2cFZlc5l&wh_ttid=pc

/ 更多阅读 /

点击 ,查看:追一科技CoQA冠军团队技术分享:基于对抗训练和知识蒸馏的机器阅读理解方案


查看更多

实时推荐

部分日本苹果零售店将重开 需要佩戴口罩进入
推荐 2020-05-25 17:12 624 2480
铭师堂教育升学e网通举办“525心理健康月”主题活动 云端守护学生心理健康
推荐 2020-05-25 17:12 206 6898
走进自然的一场未名花宴
推荐 2020-05-25 17:12 498 1902
河南孟津:扶贫走访,泪水止不住地流
推荐 2020-05-25 17:12 217 7146
山东枣庄:麦田丰收忙
推荐 2020-05-25 17:12 288 3861
80平小户型新房装修,卡座榻榻米衣帽间一样都没少,超赞
推荐 2020-05-25 17:12 814 5787
河钢唐钢强化库存管理提高物流效率
推荐 2020-05-25 17:12 640 3603
让青少年全面发展,提升身心健康,这七点,你要知道
推荐 2020-05-25 17:12 183 8548
青岛市北区街头现一米多长的蛇 辅警干脆利落地将其抓住
推荐 2020-05-25 17:12 910 8547
搭载2.4T汽油机 帅铃T6/T8新车型申报图曝光
推荐 2020-05-25 17:12 146 8555
菏泽高新区马岭岗镇:民族团结一家亲,“开斋节”慰问暖人心
推荐 2020-05-25 17:12 417 2496
女明星平价私服完全不输大牌!贫民窟女孩的夏天,应该这样穿起来
推荐 2020-05-25 17:12 306 6133
胆大!一女子刚考完科目三,无证酒驾被武汉江夏区交警查获
推荐 2020-05-25 17:12 594 1170
推荐一部9年前的都市剧,宋丹丹主演,祁同伟在这里帅炸了
推荐 2020-05-25 17:12 412 7215
延续个性造型设计,欧拉R1新增45kW车型,续航或提升
推荐 2020-05-25 17:12 807 5056
家中来客人,就做这几道家常菜,倍有面子,最后一道能多吃2碗饭
推荐 2020-05-25 17:12 334 1962
又到吃苦瓜解毒的季节!很苦吃不下?这些做法让你爱上它!
推荐 2020-05-25 17:12 304 4132
合阳县新池镇:"五老"科研献余热 小麦亩产达吨斤
推荐 2020-05-25 17:11 543 1824
大众CC强劲的发动机动力,省油经济
推荐 2020-05-25 17:11 353 1563
轻薄本居然能畅玩魔兽世界
推荐 2020-05-25 17:11 265 2317
自治区检察院第一检察部王洪皞主任一行来我市调研指导工作
推荐 2020-05-25 17:11 949 7536
就要性能车—RS4
推荐 2020-05-25 17:11 199 1371
孙兴慜6400万欧身价赶超C罗?洗洗睡吧
推荐 2020-05-25 17:11 132 5753
奋战四个月,打赢攻坚战:义东高速东阳段加快项目临建建设
推荐 2020-05-25 17:11 887 7916
漳州市第四医院精神科医生叶晓斌——用爱解开患者的心灵“枷锁”
推荐 2020-05-25 17:11 470 7329
山东蓬莱市全面加强葡萄酒生产加工示范基地创建
推荐 2020-05-25 17:11 733 8429
东方证券(03958)拟推出H股员工持股计划
推荐 2020-05-25 17:11 202 2546
优秀的女人都是从孤独中走向人生的巅峰!
推荐 2020-05-25 17:11 325 7161
临夏州康乐县新建政务服务大厅开通启用
推荐 2020-05-25 17:11 267 5607
莆田一小学门口,汽车“无人驾驶”却在动!路人吓坏了
推荐 2020-05-25 17:11 585 3358
提前速看!新建区新添一处湿地“花海”景观公园
推荐 2020-05-25 17:11 999 8646
闽清搭建名优产品营销平台 支持使用地方名优产品
推荐 2020-05-25 17:11 549 6631
《三生三世白暮泪》开机在即,演员阵容强大,铁粉:没流量也要追
推荐 2020-05-25 17:11 721 5357
敢带你去这4个地方的男人,才是真心实意的爱你,女人别不懂
推荐 2020-05-25 17:11 437 1512
采用“海洋元素”/或于六月份上市 海马7X量产版车型申报图曝光
推荐 2020-05-25 17:11 600 4983
在我的城市,等一场日落
推荐 2020-05-25 17:11 265 9473
每天吃的降压药,你真的了解它吗?这5个副作用,现在知道还不迟
推荐 2020-05-25 17:11 928 8755
是结核还是感冒?关于结核你必须要了解这些
推荐 2020-05-25 17:11 535 6136
奥运会基本无悬念的6大项目,告诉大家啥叫作统治力?中国占3席
推荐 2020-05-25 17:11 238 9664
商务部部长回应“对澳大利亚大麦征收反倾销税”
推荐 2020-05-25 17:11 955 4046
兰园社区:网格“吹哨”部门报到,解决居民烦心事
推荐 2020-05-25 17:11 975 9455
外卖小哥收到神秘纸盒,听到里面声音后立即报警
推荐 2020-05-25 17:11 806 2265
"三治"管出洪城高"颜值"——2019 年射洪市综合行政执法工作综述
推荐 2020-05-25 17:11 623 6541
TA:包括曼城在内的 7 家欧洲顶级俱乐部有意费兰
推荐 2020-05-25 17:11 445 1285
超能中端,超强5G——荣耀X10真机完整测评
推荐 2020-05-25 17:11 302 1896
南部男子组团“碰瓷”,一司机被讹19000元!
推荐 2020-05-25 17:11 476 2812
结果来了!队内赛第二名浮出水面,伊藤美诚看了应该会很开心吧
推荐 2020-05-25 17:11 574 5596
苹果更新大量iOS应用:解决无法打开App问题 用户被累到哭
推荐 2020-05-25 17:11 380 2323
神秘的工业级无线路由到底长什么样?能否用来吃鸡?带你一探究竟
推荐 2020-05-25 17:11 961 7300
表姐350万深圳买45平房,客厅巴掌大,厕所门口吃饭,住得憋屈
推荐 2020-05-25 17:11 274 6881
玫瑰花水面膜“鲜活”来袭,真珠美学全面升级护肤新体验
推荐 2020-05-25 17:11 371 1646
中国文联推出“以艺战疫”特别节目 平安与志愿者合唱
推荐 2020-05-25 17:11 246 3638
市人社局党组书记、局长龚海祥率调研组深入融水、三江两县调研脱贫攻坚工作
推荐 2020-05-25 17:11 643 1527
《中国登山队登顶珠峰六十周年》纪念邮票首发
推荐 2020-05-25 17:11 211 2004
皮卡+运动套件+牛头标 丰田新款Hilux设计图曝光
推荐 2020-05-25 17:11 230 3631
易县举办“抓党建、促脱贫、保小康”活动第二期专题培训班
推荐 2020-05-25 17:11 275 7094
时髦精都去杭州这些宝藏店买古着了,你还打飞的去海外扫货?
推荐 2020-05-25 17:11 268 1100
车评 | 一篇关于AMG C43旅行轿车真实而未必客观的体验报告
推荐 2020-05-25 17:11 615 5478
最高检:完善人民监督员制度,将全部检察业务纳入监督范围
推荐 2020-05-25 17:11 176 7866
realme新款旗舰手机发布:骁龙865+65W快充!
推荐 2020-05-25 17:11 861 5610
海贼王:顶上战争中的鹰眼为何要对比斯塔放水?答案显而易见!
推荐 2020-05-25 17:11 763 3035
榜样力量 痘博士五月青春不留痘公益现巨大社会影响力
推荐 2020-05-25 17:11 760 8141
为什么要赌一费卡?细致分析赌狗流玩法的意义
推荐 2020-05-25 17:11 859 8743
考研总成绩到底是怎么算的?考多少分才能被录取?考研党要留意
推荐 2020-05-25 17:11 589 7132
更轻更快更准——达尔优 A960 暴风 storm 无孔型轻量化游戏鼠标开启预售
推荐 2020-05-25 17:11 443 9638
临夏市:镀亮生态底色 擘画绿色画卷
推荐 2020-05-25 17:11 391 2055
本科经济学申请美国硕士该怎么选专业?
推荐 2020-05-25 17:11 305 6400
禹城市泺清河小学(实验小学东校区):万事俱备,只盼稚童归
推荐 2020-05-25 17:11 93 7661
主旨观点题之抓住转折词
推荐 2020-05-25 17:11 386 8372
"田忌赛马"的主人翁,忤逆齐威王的他,结局会是怎么样呢?
推荐 2020-05-25 17:11 917 2806
秦汉时期封建地主阶级的构成与封建土地等级制度
推荐 2020-05-25 17:11 378 7293
冷门迭爆!女乒队内训练赛,大黑马爆冷登顶,刘诗雯再度缺阵
推荐 2020-05-25 17:11 648 8579
帝王的另一面:杯酒释兵权的赵匡胤也曾英雄救美,但结局令人遗憾
推荐 2020-05-25 17:11 329 4191
“爸爸你想变成什么?”,“想变成手机”,浅谈幽默教养法的好处
推荐 2020-05-25 17:10 729 6555
3名江苏人在赞比亚被杀害 中国使馆提出严正交涉
推荐 2020-05-25 17:10 980 5006
家居厨房照明只一盏灯怎么够?
推荐 2020-05-25 17:10 585 3578
李景亮,一个被拳击耽误的综艺咖
推荐 2020-05-25 17:10 657 6121
日本社会持刀抢劫案件频发,疫情导致压力激增
推荐 2020-05-25 17:10 703 3871
种种迹象表明S10或许就是UZI职业生涯的最后一搏,加油!全华班!
推荐 2020-05-25 17:10 978 3994
这些举动会毁了孩子的眼睛
推荐 2020-05-25 17:10 250 6457
《秋蝉》前田芳子之死,直接暴露了编剧的短板
推荐 2020-05-25 17:10 119 4291
分手后,前任的礼物你还留着吗?
推荐 2020-05-25 17:10 544 4805
什么是运动型哮喘?运动型哮喘有哪些表现?
推荐 2020-05-25 17:10 819 2998
醋的调味能力真强,去腥解腻是好手,很多家庭都这样做
推荐 2020-05-25 17:10 312 2213
爱普诗:多彩夹心巧克力,每一口都是诗意的体验!
推荐 2020-05-25 17:10 923 4145
浙江很富裕的土豪村,是首批全国乡村旅游重点村名单,就在宁波
推荐 2020-05-25 17:10 657 9421
负债1300亿!又一家百年老店宣布破产
推荐 2020-05-25 17:10 174 7070
克洛普亲自招募维尔纳!二人已通视频电话 德甲神锋来定利物浦?
推荐 2020-05-25 17:10 355 3924
【全警实战大练兵】学习法律法规 助推实战练兵
推荐 2020-05-25 17:10 821 6542
首提零售三要素云化 苏宁618另有图谋?
推荐 2020-05-25 17:10 732 7954
摩托罗拉再曝新机,搭载骁龙730处理器,拥有5000mAh大电池
推荐 2020-05-25 17:10 528 5646
618苏宁“云化”供应链:12条生产带、200条生产线、1000个平价工厂、50个原产地
推荐 2020-05-25 17:10 400 6332
暖心!CBA状元为高考生立下承诺,网友直言不愧是“优质偶像”
推荐 2020-05-25 17:10 561 4025
华中路街道圆满完成2019年批次公共租赁住房分配工作
推荐 2020-05-25 17:10 608 6105
“排球女王”惠若琪露面,紫色卫衣配紧身裤,192cm身高让人惊艳
推荐 2020-05-25 17:10 912 9104
B站关联公司成立文化传播公司 注册资本1000万元
推荐 2020-05-25 17:10 264 5129
原创 赛会制两外援的中超:恒大国安服从大局,上港成赢家,大连或爆冷
推荐 2020-05-25 17:10 205 971
场景替代产品!海尔智家水联网1号店即墨开业,事关你家用水
推荐 2020-05-25 17:10 244 3741
“医”见钟情 援鄂天使的男神已上线
推荐 2020-05-25 17:10 244 5962
学习美丽经验 共绘美好蓝图——定海区美丽乡村建设“双学双比”活动侧记
推荐 2020-05-25 17:10 906 7943