AI2026年8月9日· 约 1 分钟
RankMixer 中 Semantic Split 与 Auto Split 的 Token 构造方式分析
#推荐系统#模型分析#特征工程#Token构造
RankMixer 中 Semantic Split 与 Auto Split 的 Token 构造方式分析
RankMixer 中 Semantic Split 与 Auto Split 的 Token 构造方式分析
在 RankMixer 中，原始推荐特征需要先被组织成若干 Token，再进入后续的 Token Mixing 和 Per-token FFN。不同 Token 构造方式，本质上决定了模型在进入 RankMixer 之前如何组织和压缩原始特征信息。
目前可以将 Token 构造方式概括为 Semantic Split 和 Auto Split 两种。
1. 两种 Token 构造方式#
假设原始特征经过 Embedding 后拼接得到：
\[X\in R^D
\]
评论