Vinta

Generate negative samples for recommender system?

2017-05-172019-10-22VintaMachine Learning

對 implicit feedback 的 ALS 來說，手動加入負樣本（Rui = 0 的樣本）是沒有意義的，因為 missing value / non-observed value 對該演算法來說本來就是 0，表示用戶確實沒有對該物品做出行為，也就是 Pui = 0 沒有偏好。

Spark ML cookbook (Python)

2017-05-152019-10-22VintaBig Data, Machine Learning, Python

As of Spark 2.0, the RDD-based APIs in the spark.mllib package have entered maintenance mode. The primary Machine Learning API for Spark is now the DataFrame-based API in the spark.ml package.

Spark SQL cookbook (Python)

2017-05-102019-10-22VintaBig Data, Machine Learning, Python

Spark SQL is a Spark module for structured data processing. Unlike the basic Spark RDD API, the interfaces provided by Spark SQL provide Spark with more information about the structure of both the data and the computation being performed.

Spark RDD methods (Python / Scala)

2017-05-022019-10-22VintaBig Data, Machine Learning, Python

以下的 methods 有些是所有 RDD 都能用，有些則是 PairRDD 才有的功能。然後因為在不同的 projects 我先後用了 Spark 的 Python API 和 Scala API，所以以下的內容可能會混雜著兩者的範例。Scala API 要特別注意每個 method 接受和回傳的 type 的差異；Python API 就沒有這種限制了，畢竟是動態語言。

Setup Spark on macOS

2017-04-272019-10-22VintaBig Data, Machine Learning, Python

First, you need Java 8 JDK.