算法经验
- CTR模型已经从传统的线性或非线性模型转变为深度模型，且多数深度模型都是Embedding + MLP；
- Wide & Deep和DeepFM模型都是利用结合低阶和高阶特征的思想来提高模型的表示能力；
- PNN提出了一个Product Layer 来捕捉同特征之间的交互方式；
- DIN引入Attention机制来捕获用户兴趣的多样性，利用在给定item下来激活历史中相似的行为。然而DIN在捕获用户行为序列之间的依赖关系能力较弱，且不适合长序列；
- DIEN利用GRU+Attention+AUGRU组合来实现用户行为序列之间的依赖关系的获取。但DIEN依旧不适合长序列，因此当需要获取长序列信息时，工业中现如今常用Transformer模型实现；
