Spark RDD methods (Python / Scala)
以下的 methods 有些是所有 RDD 都能用，有些則是 PairRDD 才有的功能。然後因為在不同的 projects 我先後用了 Spark 的 Python API 和 Scala API，所以以下的內容可能會混雜著兩者的範例。Scala API 要特別注意每個 method 接受和回傳的 type 的差異；Python API 就沒有這種限制了，畢竟是動態語言。
All posts by Vinta
Setup Spark on macOS
First, you need Java 8 JDK.
Recommender System: Matrix Factorization
只要用戶對物品有過行為（Rui > 0），我們就假設用戶對該物品有偏好（Pui = 1），用戶對該物品的行為越多（Rui 越大），Cui 就會越大，表示置信度越高，假設越可信；如果用戶對該物品沒有行為（Rui = 0），就假設用戶對該物品沒有偏好（Pui = 0），但是因為 Cui = 1 + alpha x 0，所以這個假設相對來說置信度較低，比較不可信。
Linux commands cookbook
The cookbook of useful Linux commands.
Functional Programming in Python
map() 會讓 list 的每一個元素都會各自經過 func(x) 去處理，最後得到的會是一個新的數量相同的 list。