From bf0b7d9c842480d9ca358a62a41d65e569b2eba3 Mon Sep 17 00:00:00 2001 From: PatrickG1014 Date: Sat, 18 Mar 2023 23:16:40 +0000 Subject: [PATCH] =?UTF-8?q?Deploying=20to=20main=20from=20@=20PatrickG1014?= =?UTF-8?q?/notablog-starter@a5431b3bc0d79d7324f4f6bd4d72b4dc89549007=20?= =?UTF-8?q?=F0=9F=9A=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- adversarial-robustness-02.html | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/adversarial-robustness-02.html b/adversarial-robustness-02.html index 602d154..cff62fd 100644 --- a/adversarial-robustness-02.html +++ b/adversarial-robustness-02.html @@ -143,7 +143,7 @@

[Adversarial Robustness] 2 Linear models

-

线性模型

在我们深入到深度网络上的对抗攻击和防御的讨论之前，值得讨论一下当假设类是线性的时候出现的情况。即，对于多分类设定 hθ:Rn→Rkh_\theta:\mathbb{R}^n\rightarrow\mathbb{R}^k，我们考虑这个形式的分类器

hθ(x)=Wx+bh_\theta(x)=Wx+b

其中 θ={W∈Rk×n, b∈Rk}\theta=\{W\in\mathbb{R}^{k\times n},\,b\in\mathbb{R}^k\}。在回到多分类情况之前，我们还将简要地考虑一种稍微不同形式的二分类器，因为许多思想在这种设定下更容易描述。

把这个假设代回我们的鲁棒优化框架中，同时也关注扰动集 Δ\Delta 是范数球 Δ={δ:∥δ∥≤ϵ}\Delta=\{\delta:\|\delta\|\le\epsilon\} 的情况，其中我们并没有实际指明范数的种类，所以可能是 ℓ∞, ℓ2, ℓ1\ell_\infin,\,\ell_2,\,\ell_1 等等，我们得到最小最大问题

min⁡W,b1∣D∣∑(x,y)∈Dmax⁡∥δ∥≤ϵℓ(W(x+δ)+b,y).\min_{W,b}\frac{1}{|D|}\sum_{(x,y)\in D}\max_{\|\delta\|\le\epsilon}\ell(W(x+\delta)+b,y).

+

线性模型

在我们深入到深度网络上的对抗攻击和防御的讨论之前，值得讨论一下当假设类是线性的时候出现的情况。即，对于多分类设定 hθ:Rn→Rkh_\theta:\mathbb{R}^n\rightarrow\mathbb{R}^k，我们考虑这个形式的分类器

hθ(x)=Wx+bh_\theta(x)=Wx+b

其中 θ={W∈Rk×n, b∈Rk}\theta=\{W\in\mathbb{R}^{k\times n},\,b\in\mathbb{R}^k\}。在回到多分类情况之前，我们还将简要地考虑一种稍微不同形式的二分类器，因为许多思想在这种设定下更容易描述。

把这个假设代回我们的鲁棒优化框架中，同时也关注扰动集 Δ\Delta 是范数球 Δ={δ:∥δ∥≤ϵ}\Delta=\{\delta:\|\delta\|\le\epsilon\} 的情况，其中我们并没有实际指明范数的种类，所以可能是 ℓ∞, ℓ2, ℓ1\ell_\infin,\,\ell_2,\,\ell_1 等等，我们得到最小最大问题

min⁡W,b1∣D∣∑(x,y)∈Dmax⁡∥δ∥≤ϵℓ(W(x+δ)+b,y).\min_{W,b}\frac{1}{|D|}\sum_{(x,y)\in D}\max_{\|\delta\|\le\epsilon}\ell(W(x+\delta)+b,y).

本节我们强调的关键点是，在这种表述下，我们可以精确地解决二元优化问题的内部最大化，并为多类分类提供相对紧密的上界。此外，由于结果最小化问题仍然是凸的（我们很快会看到即使在最大化δ后也仍然是凸的），因此产生的鲁棒性训练过程也可以被最优地解决，从而我们可以实现全局最优的鲁棒分类器（至少对于二元分类的情况）。这与深度网络的情况形成了鲜明对比，在深度网络中，内部最大化问题和外部最小化问题都不能被全局解决（在外部最小化问题的情况下，即使我们假设内部问题有精确的解决方案，也由于网络本身的非凸性而无法解决）。