推荐系统——概述
3 min
这是 b 站王树森推荐系统课程的笔记，记录到了重排，之后的物品冷启动和提分部分我没有学，所以也没有笔记。索引如下：
这部分偏导论，随便记录了一点
基本概念
- 用户行为：点击、点赞、收藏、转发
- 消费指标：点击率 (click rate)、交互率 (engagement rate)
- 北极星指标：用户规模、消费、发布
- 实验流程：离线实验、AB测试、推全
链路
- 召回（retrieval）：快速从海量数据中取回几千个用户可能感兴趣的物品。
- 粗排：用小规模的模型的神经网络给召回的物品打分，然后做截断，选出分数最高的几百个物品。
- 精排：用大规模神经网络给粗排选中的几百个物品打分，可以做截断，也可以不做截断。
- 重排：对精排结果做多样性抽样，得到几十个物品，然后用规则调整物品的排序。
A/B 测试
分桶
分层实验：召回、粗排、精排、重排、用户界面、广告……
同层互斥、不同层正交
同类策略互斥：天然互斥（不同结构）；效果相互增强或者相互抵消 不同类型策略：通常不会相互干扰，可以作为正交的两层
Holdout 机制
同一时间有很多实验，可以留 10% 的用户作为 holdout 桶，只用剩下的 90% 用户做实验，结果和 holdout 桶进行对比，就可以验证实验是否有效。
还有其他 holdout 的方法，比如每个用户留 k 个行为、根据时间顺序划分训练/测试等
每个考核周期结束后，重置 holdout 桶
实验推全
新建一个推全层，和其他层正交
从小流量实验到推全后，diff 会上升（如线性提升），可能需要做归一
反转实验
有指标会有滞后性，需要长期观测；但公司需要尽可能快地推全上线（因为可以腾出桶给其他实验用，以及后续开发）
解决方法是在推全的新层中开一个旧策略的桶，长期观测实验指标的 diff