Feature Engineering 特徵工程中常見的方法
Feature Engineering 是個手藝活，講求的是創造力。
All posts by Vinta
Spark troubleshooting
Wild "Task not serializable" appeared!
Observe system metrics, status, and logs on Linux
Linux commands that every DevOps engineer or SysAdmin should know.
Build a recommender system with Spark: Implicit ALS
在本篇文章中，我們以 Candidate Generation 階段常用的方法之一：Collaborative Filtering 協同過濾演算法為例，利用 Apache Spark 的 ALS (Alternating Least Squares) 模型建立一個 GitHub repositories 的推薦系統，以用戶對 repo 的打星紀錄作為訓練數據，推薦出用戶可能會感興趣的其他 repo 作為候選物品集。
Generate negative samples for recommender system?
對 implicit feedback 的 ALS 來說，手動加入負樣本（Rui = 0 的樣本）是沒有意義的，因為 missing value / non-observed value 對該演算法來說本來就是 0，表示用戶確實沒有對該物品做出行為，也就是 Pui = 0 沒有偏好。