藏在随机初始化神经网络中所的鲁棒子网络：彩票中所奖

Attack setting: PGD-20 with ε=8 (by default)

我们可以见到在各种network和datasets都可以见到RSTs的发挥作用。

横传动装置：代表者在一个network中时会有多少的位置被留存了下来

纵传动装置：并不相同颜色的支线代表者了并不相同的network，虚支线代表者着dense network在要用了adversarial training后能远超的最高Robust Accuracy。

在很国际上全域内，我们的RSTs与虚支线代表者的结果持续保持了相差无几的Robust Accuracy。

我们也随之见到在很广的全域中时会认出新的RSTs与要用过adversarial training的network相比，有更多的鲁棒性和比率展现。

RST (90% sparsity) @ WideResNet-32: +1.14%/+1.72% robust/natural accuracy with -60% parameters vs. the adversarially trained ResNet-18

从变量所谓程度较高（非常大）的network中时会识别出新的RSTs比从变量所谓程度较轻的network中时会识别出新的RSTs不具备更多的robust/natural accuracy。

我们在并不相同的setting上也开展了很多试验中。

难题一：认出新的RSTs未经过体能训练，但如果开展一个weight的fine-tuned后否时会争得更多的结果？

试验中

增设两种Fine-tuned RSTs

Fine-tuned RSTs starting with model weights inherited from the vanilla RST

Fine-tuned RSTs with reinitialized weights

我们比较了这两种经过fine-tuned的RSTs和先前的结果有什么并不相同。

Vanilla RSTs vs. fine-tuned在较国际上全域的remaining ratio下，意味着了相当强势的精度

Fine-tuned RSTs with inherited weights：在较低remaining ratio情形，大部份RSTs持续保持了较高的鲁棒性。

Fine-tuned RSTs with re-initialization: 在较低remaining ratio情形，相比取而代之的RSTs不具备相似甚至更差的强势性

上述情况凸显出新了lottery ticket phenom，即我们认出新的RSTs起初就是更好的initialization，如果再用他作为initialization来开展fine-tuned认出新的长子在支线，那么也时会争得更多的结果。

RSTs win a better initialization as fine-tuned RSTs with inherited weights are more robust than the re-initialized one

在并不相同的model和datasets上我们的结论都是近乎相反的。

难题二：RSTs的search process不止可以用上随机的在支线上，当用上体能训练好的在支线上否时会争得更多的视觉效果呢？

试验中

增设两种Robust Trained Tickets (RTTs）

Natural RTTs: RTTs searched from naturally trained networks

Adversarial RTTs: RTTs searched from adversarially trained network

Adversarial RTTs：不具备最好的robustness

Natural RTTs：robust/natural accuracy的展现甚至不如 vanilla RSTs

这就是说，在naturally trained的model中时会看看长子在支线还不如去随机初始所谓的在支线中时会去看看长子在支线。示意图，我们就通过试验中思索一下情况。

结果我们见到naturally trained的model时会对input上的perturbation更加sensitive，所以我们对model的input上加了扰动。之前记录下加noise前后就此一层feature map的改变，就有了上图上图。我们可以看出新，在naturally trained的model上，就此一层feature map的改变最为明显。这也就解释了naturally trained的model中时会看看长子在支线展现不佳的情况。

我们见到在并不相同的weight remaining ratios下，RSTs的adversarial transferability的展现较低。

y传动装置：我们用哪个RST来填充attack

x传动装置：用哪个ratio的RST来要用influence

对角支线：这两个RST如果为同一个，adversarial transferability的展现就时会较低。

我们在并不相同的在支线和原始数据集上均有相同见到。

我们选择在并不相同的RSTs中间Randomly switch，这其实是博弈的流程。Attacker金额defender都可以本体最合适的attack和defend策略，最终时会远超nash平衡。我们见到Randomly switch这些RSTs的结果和nash平衡下的鲁棒性展现相反。

优点：

Parameter-efficiency due to the weight-sharing scheme

The same randomly initialized networks can be shared among different tas

我们见到把R2S应用上ResNet-18之前，比adversarial trained的ResNet-18还能争得更多的鲁棒性展现。

上述结果在其他datasets上的展现是普遍相反的。

上述结果在其他datasets上的展现是普遍相反的。

我们还见到如何所选RST并不时会对最终的performance造成阻碍。

原意链接：