The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

paper link: https://arxiv.org/abs/1803.03635 Published in ICLR 2019 前景提要 樂透彩券的特性為一堆彩券中，真正中獎的只有那幾張，本文藉由樂透彩券來比喻神經網路的架構，真正對整體預測結果有關鍵影響的sub-network（中獎彩券）可能只有一小部分，其他的部分（沒中獎的）就可以prune掉，來加速模型的訓練時間和降低複雜度 本文方法 文章中對彩票假設的正式定義為：一個隨機初始化的密集神經網絡包含一個初始化的子網絡，在單獨訓練時，最...