Tag: recommender system
-
Updated
Build a recommender system with Spark: Logistic Regression
在本篇文章中，我們將以 Ranking 階段常用的方法之一：Logistic Regression 邏輯迴歸為例，利用 Apache Spark 的 Logistic Regression 模型建立一個 GitHub repositories 的推薦系統，以用戶對 repo 的打星紀錄和用戶與 repo 的各項屬性做為特徵，預測出用戶會不會打星某個 repo（分類問題）。最後訓練出來的模型就可以做為我們的推薦系統的 Ranking 模組。不過因為 LR 是線性模型，所以通常需要大量的 Feature Engineering 來習得非線性關係。所以這篇文章的重點是 Spark ML 的 Pipeline 機制和特徵工程，不會在演算法的部分著墨太多。
-
Updated
Build a recommender system with Spark: Content-based and Elasticsearch
在本篇文章中，我們以 Candidate Generation 階段常用的方法之一：Content-based recommendation 基於內容的推薦為例，利用 Elasticsearch 的 More Like This query 建立一個 GitHub repositories 的推薦系統，以用戶最近打星過的 repo 作為輸入數據，比對出相似的其他 repo 作為候選物品集。
-
Updated
Spark ML cookbook (Scala)
Scala is the first class citizen language for interacting with Apache Spark, but it's difficult to learn. This article is mostly about Spark ML - the new Spark Machine Learning library which was rewritten in DataFrame-based API.
-
Updated
Build a recommender system with Spark: Implicit ALS
Category: AI, Big Data, Python
在本篇文章中，我們以 Candidate Generation 階段常用的方法之一：Collaborative Filtering 協同過濾演算法為例，利用 Apache Spark 的 ALS (Alternating Least Squares) 模型建立一個 GitHub repositories 的推薦系統，以用戶對 repo 的打星紀錄作為訓練數據，推薦出用戶可能會感興趣的其他 repo 作為候選物品集。
-
Updated
Generate negative samples for recommender system?
Category: AI
對 implicit feedback 的 ALS 來說，手動加入負樣本（Rui = 0 的樣本）是沒有意義的，因為 missing value / non-observed value 對該演算法來說本來就是 0，表示用戶確實沒有對該物品做出行為，也就是 Pui = 0 沒有偏好。
-
Updated
Spark ML cookbook (Python)
Category: AI, Big Data, Python
As of Spark 2.0, the RDD-based APIs in the spark.mllib package have entered maintenance mode. The primary Machine Learning API for Spark is now the DataFrame-based API in the spark.ml package.
-
Updated
Recommender System: Matrix Factorization
Category: AI
只要用戶對物品有過行為（Rui > 0），我們就假設用戶對該物品有偏好（Pui = 1），用戶對該物品的行為越多（Rui 越大），Cui 就會越大，表示置信度越高，假設越可信；如果用戶對該物品沒有行為（Rui = 0），就假設用戶對該物品沒有偏好（Pui = 0），但是因為 Cui = 1 + alpha x 0，所以這個假設相對來說置信度較低，比較不可信。
-
Updated
Recommender System: Collaborative Filtering 協同過濾推薦演算法
Category: AI
dataset 會是 m 個用戶對 n 個物品的評分 utility matrix，因為通常只有部分用戶和部份物品會有評分資料，所以是一個 sparse matrix（稀疏矩陣）。目標是利用這些稀疏的資料去預測出用戶對他還沒評分過的物品的評分。