1、大規模稀疏化模型技術介紹及實踐郭一小紅書技術平臺負責人小紅書首頁推薦模型演進 國內領先的生活分享社區月活超過1億每天百億次筆記曝光Inspire Lives 分享和發現世界的精彩2016年之前 人工精選2018/07 SparkML GBDT(小幾萬參數)2018/12 GBDT+LR（大幾萬參數)2019/02 GBDT+Deep&Wide（幾百萬參數)2019/12 Sparse D&W(十幾億級參數)2020/08 Sparse D&W(近千億級參數，小時級別更新)2021/04 千億級模型+分鐘級更新2021/09 GPU推理加速03.5710.51417.501E+112E+113E

2、+114E+112018/072018/122019/022019/122020/082021/042021/10模型更新時間模型參數量模型結構及上線時間模型迭代及參數變化模型參數量模型更新時間千億百億百萬萬周天小時分鐘10MB20MB100MB 8臺32張A10 的良好擴展性計算吞吐(單機8卡）相比 CPU(1800c)集群提升至 2.6x12.600.651.31.952.63.25CPU 集群GPU 集群Speedup成本相比(單機8卡）CPU(1800c)集群降低至 74%100%74%0%25%50%75%100%125%CPU 集群GPU 集群稀疏特征模型多種硬件與基礎設施訓練瓶頸數據加載嵌入表查找興趣提取梯度計算參數更新通過軟硬件結合的優化，充分挖掘 GPU 高算力、高訪存、高并發的特點，極致提升性能HybridBackend訪存網絡數據流水線存儲容量算力稀疏算子訓練策略數據讀取適合 GPU適合 CPU網絡訪存HybridBackend ParquetDataset：極致優化海量稀疏數據訪問支持云原生的存儲、計算、訓練混合架構LastN 模型線上數據(N=2.5k)讀取性能相比線上基準有 2.4x 提升線上數據 Parquet(zstd)相比線上基準減少了 50%的存儲空間