Site updated: 2024-03-11 12:32:47

lihaibineric · Mar 11, 2024 · dee4bcd · dee4bcd
1 parent 7cdcf12
commit dee4bcd
Show file tree

Hide file tree

Showing 3 changed files with 24 additions and 6 deletions.
diff --git a/2024/02/04/dl_rec_al/index.html b/2024/02/04/dl_rec_al/index.html
@@ -44,7 +44,7 @@
 <meta property="og:image" content="https://gitee.com/lihaibineric/picgo/raw/master/pic/image-20240206000626255.png">
 <meta property="og:image" content="https://gitee.com/lihaibineric/picgo/raw/master/pic/image-20240206000903122.png">
 <meta property="article:published_time" content="2024-02-03T16:37:51.000Z">
-<meta property="article:modified_time" content="2024-03-08T03:12:57.935Z">
+<meta property="article:modified_time" content="2024-03-11T04:19:54.925Z">
 <meta property="article:author" content="Haibin Li">
 <meta property="article:tag" content="人工智能">
 <meta property="article:tag" content="深度学习">
@@ -231,7 +231,7 @@
       <span class="post-meta mr-2">
         <i class="iconfont icon-chart"></i>
 
-          43k words
+          44k words
 
       </span>
 
@@ -242,7 +242,7 @@
 
 
 
-          360 mins
+          363 mins
 
       </span>
 
@@ -284,7 +284,7 @@ <h1 id="seo-header">【深度学习】推荐系统算法总结</h1>
               <p class="note note-info">
 
 
-                    Last updated on March 8, 2024 am
+                    Last updated on March 11, 2024 pm
 
 
               </p>
@@ -1088,6 +1088,15 @@ <h2 id="深度学习模型rank">深度学习模型(Rank)</h2>
 alt="image-20240308111249239" />
 <figcaption aria-hidden="true">image-20240308111249239</figcaption>
 </figure>
+<figure>
+<img
+src="https://gitee.com/lihaibineric/picgo/raw/master/pic/image-20240311120735173.png" srcset="/img/loading.gif" lazyload
+alt="image-20240311120735173" />
+<figcaption aria-hidden="true">image-20240311120735173</figcaption>
+</figure>
+<p>对于1层cross和1层deep的DCN网络输入经过embedding和stack处理后维度为d，Cross部分网络参数为2d，Deep为d*d，当MLP的层数增多时，deep部分的参数量也急速增加。DCN网路的绝大部分参数都用于对隐性交叉特征进行建模。Cross部分的表达能力反而受限。</p>
+<p>DCN-v2优化了cross网络的建模方式，增加了cross网络部分的表达能力；deep部分保持不变。</p>
+<p>低维空间的交叉特征建模使得我们可以利用MoE。MoE由两部分组成：experts专家和gating门（一个关于输入x的函数）。我们可以使用多个专家，每个专家学习不同的交叉特征，最后通过gating将各个专家的学习结果整合起来，作为输出。这样就又能进一步增加对交叉特征的建模能力。</p>
 
 
               </div>
@@ -1156,7 +1165,7 @@ <h2 id="深度学习模型rank">深度学习模型(Rank)</h2>
 
         <div class="license-meta-item license-meta-date">
           <div>Updated on</div>
-          <div>March 8, 2024</div>
+          <div>March 11, 2024</div>
         </div>
 
 

diff --git a/local-search.xml b/local-search.xml
diff --git a/search.xml b/search.xml
@@ -3683,6 +3683,15 @@ src="https://gitee.com/lihaibineric/picgo/raw/master/pic/image-20240308111249239
 alt="image-20240308111249239" />
 <figcaption aria-hidden="true">image-20240308111249239</figcaption>
 </figure>
+<figure>
+<img
+src="https://gitee.com/lihaibineric/picgo/raw/master/pic/image-20240311120735173.png"
+alt="image-20240311120735173" />
+<figcaption aria-hidden="true">image-20240311120735173</figcaption>
+</figure>
+<p>对于1层cross和1层deep的DCN网络输入经过embedding和stack处理后维度为d，Cross部分网络参数为2d，Deep为d*d，当MLP的层数增多时，deep部分的参数量也急速增加。DCN网路的绝大部分参数都用于对隐性交叉特征进行建模。Cross部分的表达能力反而受限。</p>
+<p>DCN-v2优化了cross网络的建模方式，增加了cross网络部分的表达能力；deep部分保持不变。</p>
+<p>低维空间的交叉特征建模使得我们可以利用MoE。MoE由两部分组成：experts专家和gating门（一个关于输入x的函数）。我们可以使用多个专家，每个专家学习不同的交叉特征，最后通过gating将各个专家的学习结果整合起来，作为输出。这样就又能进一步增加对交叉特征的建模能力。</p>
 ]]></content>
       <categories>
         <category>深度学习</category>