I’m Yi-Shan Wu, currently a research assistant under the supervision of Dr. Chi-Jen Lu at Institute of Information Science (IIS), Academia Sinica. My research interest is theoretical machine learning, and in particular, online learning and some generalization issues in deep learning.
For online learning, I’m now working on the problem of Lifelong Learning, which could be seen as natural generalization of online optimization but includes more than one task. The goal is to understand how good regret bounds can be if certain knowledge is shared among tasks.
I’m also enthralled by problems in several aspects of deep learning, and in particular, the reason why a well-trained neural network can generalize well and why some algorithms such as SGD returns better solutions. I’m now working on a project about understanding how dropout or some other kinds of “noise" methods help improving generalization. Furthermore, I’m trying to figure out if there is any commonality among several approaches to prove generalization bound, such as stability, compression, mutual information, and etc.
This is my blog about some new research issues in machine learning. I insist on writing in Chinese as there are already a great amount of resources written in English. I wish more young students in Taiwan can also be interested in theoretical machine learning problems and know there is some guy who is willing to exchange ideas with them.
Here is my personal e-mail : turtleangwu@iis.sinica.edu.tw
我是吳宜珊﹝Yi-Shan Wu﹞，目前擔任中央研究院資訊所呂及人老師的研究助理。目前興趣是理論方面的機器學習問題，主要研究題目是有關『線上決策問題』﹝online learning ﹞、『普遍化問題』﹝deep learning generalization issues﹞，但也關心各式各樣有關機器學習的理論分析，尤其對現存模型或演算法的『限制』特別感興趣。
這個網誌紀錄我當助理以來學習的東西，主要希望用中文整理關於機器學習相關的理論，或許還有一些相關的論文。特別強調是中文是因為，在學習的路上看到很多同伴，學習能力可能好過我，但卻受限於英文能力而比別人辛苦；且目前難看到有中文的理論教科書或是科普文章，雖然已經比以前好一些了，但對新知的捕捉依然緩慢。
希望這篇網誌幫助我記憶、整理曾經知道的事情，或許也讓有興趣的人能來看看。更希望更多不同領域、能力比我好多的人也能分享學到的事情。有興趣、或是發現文章哪裡有錯誤的人，請不吝寫信交流。
E-mail : turtleangwu@iis.sinica.edu.tw
GitHub page : turtleangwu.github.io
以下是針對學術類文章做一下簡介。
機器學習基本理論
這是屬於基礎中的基礎的理論。這部分包含了最基本關於機器學習的知識，從最初介紹機器學習關心什麼樣的問題、學習的目標是什麼、什麼叫做學習的好、有哪些無論是做理論還是做實驗的人都必須注意的事情等等，逐一給出一些直觀上的解釋。
Online Learning 線上決策問題
這部分是關於線上決策問題的文章，介紹了跟一般的機器學習不太一樣的設定，然後盡可能給出為什麼會這樣考慮問題、常見的問題種類等等。
GAN 相關議題
這個部分幾乎只關心最基本的 GAN 的相關理論議題，不像現在已經常被使用的 deep learning 模型如此花俏，主要是希望探討 generative model 的可行性。這些文章參考的幾乎都是那個議題最經典、或者是 2017 年之後的具影響力的論文。
Generalization 議題
Generalization 是機器學習非常重要的目標，但也是現在 deep learning 面臨的最大的問題：雖然大部分情況深度學習似乎都做的很好，但那是「意料之外的好」，也就是其實我們沒有好的線索能夠知道這個模型是不是能有好的 generalization 性質，有些結果或是現在甚至不太符合我們之前對於 neural network 的理解，因此這個領域的理論發展最近簡直是百家爭鳴，說法各不相同，而筆者希望對於不同的文章都能多少有著墨，然後給出一個中性的整理。
Optimization
這個類別包含的有點廣，但主要聚焦在 non-convex problem 的最佳化上，尤其包含一些文章針對為什麼 SGD 演算法普遍而言可以得到不錯的解做一些探討。
Security and Privacy of Machine Learning
這個類別收了一些跟機器學習安全性相關的文章。當未來我們希望將機器學習應用在各種地方，包括辨識、包括自動駕駛等等，就無可避免的會需要系統有很高的安全性，否則出錯的代價會很驚人，但以現在的機器學習模型有的能力，還沒有辦法保證安全性，甚至非常容易就會受到攻擊、出錯，因此這是在未來研究機器學習上，不得不面對的問題。
Ang's learning notes 