Online learning — Follow the Regularized Leader

Follow the Regularized Leader (FTRL) 是解 Online Convex Optimization 問題非常常用的方法。以下將簡單介紹 Online Convex Optimization (OCO)，並從 Follow the Leader 的角度解釋為什麼需要 Regularizer。

Online learning — introduction (2)

本篇接續《Online learning — introduction》，我們給出一個 online learning 十分常見的架構，以及從它衍伸出來的 regret 的定義做更充分的討論。

Numerical Linear Algebra — subspace embedding

這份 note 是根據『 Sketching as a Tool for Numerical Linear Algebra — David P. Woodruff 』的講義，以及我們在 2018, fall 的讀書會內容做的簡短整理。

文中的定義都會根據我們在白板上的討論另外改寫，所以不一定會長得跟書本裡一模一樣，不過概念是一致的。

Adversarial Examples

這篇文章主要根據實驗室同事王昱舒（台大資工系 B04 級）於2018/08/31 在中研院資訊所的報告紀錄而成。報告內容是 2018 ICML 其中一篇獲得 best paper award 的論文：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples。以下會有關於 adversarial examples 的基本介紹，以及提到 adversarial examples 如何影響機器學習的安全性。

SGD(1) — for non-convex functions

這一系列文主要要介紹一個非常常用到，幾乎是所有做機器學習、深度學習的人都會知道的方法，Stochastic Gradient Descent (SGD) ，大家幾乎把它當基本常識用，但其實他藏有非常神秘、強大的力量。一開始是實驗做多了大家意外的發現，近幾年才開始慢慢有理論研究給予驗證，雖然結果仍然十分有限，但也足夠我們相信這條路應該還有更多有趣的故事可以發掘。但在這之前要先做一點簡單的背景介紹。