Online learning — Follow the Regularized Leader

Follow the Regularized Leader (FTRL) 是解 Online Convex Optimization 問題非常常用的方法。以下將簡單介紹 Online Convex Optimization (OCO)，並從 Follow the Leader 的角度解釋為什麼需要 Regularizer。

Online learning — introduction (2)

本篇接續《Online learning — introduction》，我們給出一個 online learning 十分常見的架構，以及從它衍伸出來的 regret 的定義做更充分的討論。

Adversarial Examples

這篇文章主要根據實驗室同事王昱舒（台大資工系 B04 級）於2018/08/31 在中研院資訊所的報告紀錄而成。報告內容是 2018 ICML 其中一篇獲得 best paper award 的論文：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples。以下會有關於 adversarial examples 的基本介紹，以及提到 adversarial examples 如何影響機器學習的安全性。

SGD(1) — for non-convex functions

這一系列文主要要介紹一個非常常用到，幾乎是所有做機器學習、深度學習的人都會知道的方法，Stochastic Gradient Descent (SGD) ，大家幾乎把它當基本常識用，但其實他藏有非常神秘、強大的力量。一開始是實驗做多了大家意外的發現，近幾年才開始慢慢有理論研究給予驗證，雖然結果仍然十分有限，但也足夠我們相信這條路應該還有更多有趣的故事可以發掘。但在這之前要先做一點簡單的背景介紹。

Generalization 專題 — Stronger generalization bounds for deep nets via a compression approach

這是一篇 2018 年初由 Neyshabur、Arora 等人發表的文章。初看覺得是一篇很突然就冒出的作品，但其實累積了前面許多文章的點子，不過他們非常巧妙的運用，而使得這篇文章無論結果、還是給予的理論上的觀點都十分令人驚喜。論文本文有十分多數學上的定義、推導等等，這篇文章希望給予一些高觀點的理解，幫助體會這個作品神奇的地方。