Data-dependent PAC-Bayes priors via differential privacy 小記

這是一篇 2018 年的論文，出發點是希望改進原本 PAC-Bayes 的結果，使得以往對所有分布 都對的定理，特別專注在那些『好的 』。

所以這篇會先從最原始的 PAC-Bayes 的定理開始，還有定義什麼是 differential privacy 。當這些名詞都確認沒問題之後，才會開始有更多的討論，包括為什麼要使用這麼麻煩的定理，以及說明如何得到『data-dependent』的好的 ，最後討論有沒有可能有好的演算法。

Generalization in Deep learning (1)

前言

以前大家無論是直觀上、還是對一些簡單模型的證明上，都認為當一個模型的可調參數越多，那麼它就越容易 overfit，尤其是當可調參數量遠超過訓練資料量﹝over-parametrized﹞時，overfitting 幾乎難以避免。但是很神奇的是，現在的 neural network 往往超級大，over-parametrized 的狀況幾乎是必然的，不過卻仍然有不錯的普遍化﹝generalization﹞性質。

如果只有部分實驗結果如此，那說不定這種現象只是機率問題，或者跟初始狀態有關等等，但當大部分的模型訓練出來都有這樣的結果時，會讓我們不禁想：究竟是什麼原因讓機器更樂意去學東西而不是只是背下來呢？機器竟然傾向學習規律，而且現在採用的模型似乎足夠描述這種規律，這是何等其妙的事情。而這個問題在深度學習已經被大量運用在實務上的現在來說，仍然是個大哉問，我們希望盡快地能夠回答這個問題，以幫助在實際建構模型時有更多的依據。

Online Learning — Exponential Weighted Algorithm

在『Online learning — introduction』中的最後筆者有提到，環境、或是對手會有兩種常見的方式：一種是 Adversarial setting （作亂模式），一種是 Stochastic setting（隨機模式）。（p.s. 當然翻譯應該不是真的這樣翻，不過這樣應該會比較有助於直觀上的理解）。這篇文章中主要探討的是在 Adversarial setting 下，我們要如何聰明的設計演算法，以達到 的 regret。