Online learning — Follow the Regularized Leader

Follow the Regularized Leader (FTRL) 是解 Online Convex Optimization 問題非常常用的方法。以下將簡單介紹 Online Convex Optimization (OCO),並從 Follow the Leader 的角度解釋為什麼需要 Regularizer。

繼續閱讀 “Online learning — Follow the Regularized Leader"

Numerical Linear Algebra — subspace embedding

這份 note 是根據『 Sketching as a Tool for Numerical Linear Algebra — David P. Woodruff 』的講義,以及我們在 2018, fall 的讀書會內容做的簡短整理。

文中的定義都會根據我們在白板上的討論另外改寫,所以不一定會長得跟書本裡一模一樣,不過概念是一致的。

繼續閱讀 “Numerical Linear Algebra — subspace embedding"