1、DeepRec:大規模稀疏模型訓練引擎劉童璇阿里云計算平臺事業部PAI-高級技術專家Contents目錄01DeepRec背景02DeepRec功能介紹03DeepRec開源DeepRec背景01為什么需要稀疏模型訓練引擎稀疏功能訓練性能部署及Serving提升模型效果提升模型迭代效率具有稀疏模型特點的部署及線上服務什么是DeepRecA Recommendation engine based on TensorFlow分布式訓練框架動態彈性特征增量模型導出及加載稀疏功能訓練性能部署及Serving特征淘汰及準入基于特征頻率的動態彈性維度自適應動態彈性特征Runtime優化算子優化圖優化超大稀

2、疏模型分布式Serving多級混合存儲及多Backend支持Online Deep LearningDeepRec業務場景A Recommendation engine based on TensorFlow猜你喜歡推薦主搜索搜索直通車、定向廣告DeepRec研發團隊A Recommendation engine based on TensorFlowAOPPAIXDLAISNvidiaIntelDeepRecDeepRec功能介紹02動態彈性特征基于特征頻率的動態彈性維度低頻特征使用更低維度高頻特征使用更高維度異步訓練框架StarServer通信協議優化、用戶態零拷貝數據傳輸Run To C

3、ompletion and Lockless Graph Execution基于圖拓撲序的圖FusionThousands of WorkersTens of Parameter Servers同步訓練框架HybridBackend數據并行于模型并行混合分布式訓練面向混合硬件的訓練編排針對高維稀疏特征大批量訪問優化Runtime優化-PRMalloc圖優化-結構化特征降低存儲開銷降低User網絡計算開銷模型增量導出及加載Embedding多級混合存儲推薦模型庫-EasyRecFMDSSMSimple MultiTask多樣性特征排序模型召回&多目標模型FMWideAndDeepDeepFMMM

4、oEESMMDeepCrossAutoIntMultiTowerDINBSTMINDRe-rank模型：ListWise其他連續值建模優化：DeepGBM冷啟動模型：多臂老虎機離散特征多值特征組合特征查找特征序列特征DBMTL連續值特征DeepRec開源03DeepRec開源A Recommendation engine based on TensorFlow場景合作開放阿里核心搜推廣業務錘煉Intel/NV合作支持，引入更多外部合作公司開放的稀疏模型訓推引擎開源合作伙伴SOK(HugeCTR)稀疏算子加速BF16混合精度優化EmbeddingVariable on PMEMRuntime優化、圖優化、算子優化、新硬件支持GPU Embedding Fusion OpsEmbeddingVariable on GPU分布式框架、圖優化、算子優化、新硬件支持THANKS