IIS 20180720

好的，距離我上次重新訂了一個目標之後已經過了 6 周差不多，來看看我這段時間究竟做了些什麼好事吧 QQ

CLT

首先是關於機率方面的讀書計畫。很不幸的我沒有照著進度表進行，不過還可以接受的是，因為研究上需要，所以我花了大把時間在看 central limit theorem 相關的章節 & 論文，尤其著重在不僅僅是知道他要收斂到 normal distribution ，而且還要知道它的收斂速度，這是最麻煩的地方。蠻訝異的發現這裡有的結果其實並不多， univariate 的版本還好一點，multivariate 的簡直少得可憐，而且往往是做在一些特殊狀況，而很不幸的不夠我們用。在這段期間也稍微看了一下 terry tao 的網誌，大略的又把之前機率論學到的一些重要概念複習過。所以就算這一個半月沒有照著預定進度進行，但我想之後回頭，應該許多部分都已經可以跳過了。

在這裡小小的紀錄一下 central limit theorem 。這個定理主要是要看我從未知分布 i.i.d. 挑了 個 r.v. 後，它的 average 會收斂到 normal distribution 的速率。既然要說「收斂」就意味著當 夠大時，兩個 distribution 看起來會差不多，但是這兩個到底像到什麼程度呢？我們需要一些檢驗。很直接的方法是用非常多不同的函數作用在這兩個 r.v. 看他們出來的值是不是差不多，如果幾乎差不多那就是通過，也就是無法分辨兩者的差異，如果發現差很多，那我們就有機會區分這兩個 r.v. ，概念大致是如此。大多的定理都證明 c.d.f. 版本的，也就是只要通過 half interval 這種測試就好，不過很顯然的這樣很弱，因為這只能確定這兩個 r.v. 在 這個範圍「累積」的表現差不多，但理想上應該要給予任何的 interval 都要可以通過。

總而言之最近大部分的時間除了拿來整理之前的 work ，把證明好好寫下來，再來就是研究 central limit theorem 了。

任務分配

看到一個系上學弟分享他的計畫，我覺得蠻實在的。他說他一次只會有三個主線任務，然後兩個支線，而主線每個任務都至少要專注一個月以上。而之於我的話，其實兩個研究題目幾乎就占了我大部份的時間了，他們是我最主要的兩個主線任務，而我不確定我還有沒有心力進行第三個。目前這個月的支線有很重要的一條是爬山 & 增加體力，另一條就是瀏覽一些有趣的 program ，然後看看一些閒書。第三條主線或許就是 seminar 吧，其實挺花時間的，然後希望可以打成網誌。這大概就是我最近的任務分配，而先前的機率計畫就直接併到某一條研究主線吧，反正進一個月大概還是會繼續研究。

目錄

I’m Yi-Shan Wu, currently a research assistant under the supervision of Dr. Chi-Jen Lu at Institute of Information Science (IIS), Academia Sinica. My research interest is theoretical machine learning, and in particular, online learning and some generalization issues in deep learning.

For online learning, I’m now working on the problem of Lifelong Learning, which could be seen as natural generalization of online optimization but includes more than one task. The goal is to understand how good regret bounds can be if certain knowledge is shared among tasks.

I’m also enthralled by problems in several aspects of deep learning, and in particular, the reason why a well-trained neural network can generalize well and why some algorithms such as SGD returns better solutions. I’m now working on a project about understanding how dropout or some other kinds of “noise" methods help improving generalization. Furthermore, I’m trying to figure out if there is any commonality among several approaches to prove generalization bound, such as stability, compression, mutual information, and etc.

This is my blog about some new research issues in machine learning. I insist on writing in Chinese as there are already a great amount of resources written in English. I wish more young students in Taiwan can also be interested in theoretical machine learning problems and know there is some guy who is willing to exchange ideas with them.

Here is my personal e-mail : turtleangwu@iis.sinica.edu.tw

---

我是吳宜珊﹝Yi-Shan Wu﹞，目前擔任中央研究院資訊所呂及人老師的研究助理。目前興趣是理論方面的機器學習問題，主要研究題目是有關『線上決策問題』﹝online learning ﹞、『普遍化問題』﹝deep learning generalization issues﹞，但也關心各式各樣有關機器學習的理論分析，尤其對現存模型或演算法的『限制』特別感興趣。

這個網誌紀錄我當助理以來學習的東西，主要希望用中文整理關於機器學習相關的理論，或許還有一些相關的論文。特別強調是中文是因為，在學習的路上看到很多同伴，學習能力可能好過我，但卻受限於英文能力而比別人辛苦；且目前難看到有中文的理論教科書或是科普文章，雖然已經比以前好一些了，但對新知的捕捉依然緩慢。

希望這篇網誌幫助我記憶、整理曾經知道的事情，或許也讓有興趣的人能來看看。更希望更多不同領域、能力比我好多的人也能分享學到的事情。有興趣、或是發現文章哪裡有錯誤的人，請不吝寫信交流。

E-mail : turtleangwu@iis.sinica.edu.tw
GitHub page : turtleangwu.github.io

以下是針對學術類文章做一下簡介。

---

機器學習基本理論

這是屬於基礎中的基礎的理論。這部分包含了最基本關於機器學習的知識，從最初介紹機器學習關心什麼樣的問題、學習的目標是什麼、什麼叫做學習的好、有哪些無論是做理論還是做實驗的人都必須注意的事情等等，逐一給出一些直觀上的解釋。

Online Learning 線上決策問題

這部分是關於線上決策問題的文章，介紹了跟一般的機器學習不太一樣的設定，然後盡可能給出為什麼會這樣考慮問題、常見的問題種類等等。

GAN 相關議題

這個部分幾乎只關心最基本的 GAN 的相關理論議題，不像現在已經常被使用的 deep learning 模型如此花俏，主要是希望探討 generative model 的可行性。這些文章參考的幾乎都是那個議題最經典、或者是 2017 年之後的具影響力的論文。

Generalization 議題

Generalization 是機器學習非常重要的目標，但也是現在 deep learning 面臨的最大的問題：雖然大部分情況深度學習似乎都做的很好，但那是「意料之外的好」，也就是其實我們沒有好的線索能夠知道這個模型是不是能有好的 generalization 性質，有些結果或是現在甚至不太符合我們之前對於 neural network 的理解，因此這個領域的理論發展最近簡直是百家爭鳴，說法各不相同，而筆者希望對於不同的文章都能多少有著墨，然後給出一個中性的整理。

Optimization

這個類別包含的有點廣，但主要聚焦在 non-convex problem 的最佳化上，尤其包含一些文章針對為什麼 SGD 演算法普遍而言可以得到不錯的解做一些探討。

Security and Privacy of Machine Learning

這個類別收了一些跟機器學習安全性相關的文章。當未來我們希望將機器學習應用在各種地方，包括辨識、包括自動駕駛等等，就無可避免的會需要系統有很高的安全性，否則出錯的代價會很驚人，但以現在的機器學習模型有的能力，還沒有辦法保證安全性，甚至非常容易就會受到攻擊、出錯，因此這是在未來研究機器學習上，不得不面對的問題。