Vinta

Spark troubleshooting

2017-08-052019-10-22VintaBig Data, DevOps, Machine Learning

Wild "Task not serializable" appeared!

Observe system metrics, status, and logs on Linux

2017-08-052019-10-22VintaDevOps

Linux commands that every DevOps engineer or SysAdmin should know.

Build a recommender system with Spark: Implicit ALS

2017-05-202019-10-22VintaBig Data, Machine Learning, Python

在本篇文章中，我們以 Candidate Generation 階段常用的方法之一：Collaborative Filtering 協同過濾演算法為例，利用 Apache Spark 的 ALS (Alternating Least Squares) 模型建立一個 GitHub repositories 的推薦系統，以用戶對 repo 的打星紀錄作為訓練數據，推薦出用戶可能會感興趣的其他 repo 作為候選物品集。

Generate negative samples for recommender system?

2017-05-172019-10-22VintaMachine Learning

對 implicit feedback 的 ALS 來說，手動加入負樣本（Rui = 0 的樣本）是沒有意義的，因為 missing value / non-observed value 對該演算法來說本來就是 0，表示用戶確實沒有對該物品做出行為，也就是 Pui = 0 沒有偏好。

Spark ML cookbook (Python)

2017-05-152019-10-22VintaBig Data, Machine Learning, Python

As of Spark 2.0, the RDD-based APIs in the spark.mllib package have entered maintenance mode. The primary Machine Learning API for Spark is now the DataFrame-based API in the spark.ml package.