应用pca和K-means实现用户对物品类别的喜好细分划分
数据如下：
- order_products__prior.csv：订单与商品信息 字段：order_id, product_id, add_to_cart_order, reordered
- products.csv：商品信息 字段：product_id, product_name, aisle_id, department_id
- orders.csv：用户的订单信息 字段：order_id,user_id,eval_set,order_number,….
- aisles.csv：商品所属具体物品类别 字段： aisle_id, aisle
1.需求
2.分析
- 1.获取数据
- 2.数据基本处理
- 2.1 合并表格
- 2.2 交叉表合并
- 2.3 数据截取
- 3.特征工程 — pca
- 4.机器学习（k-means）
- 5.模型评估
- sklearn.metrics.silhouette_score(X, labels)
- 计算所有样本的平均轮廓系数
- X：特征值
- labels：被聚类标记的目标值
3.完整代码
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
#导入数据
order_product = pd.read_csv("order_products__prior.csv")
products = pd.read_csv("products.csv")
orders = pd.read_csv("orders.csv")
aisles = pd.read_csv("aisles.csv")
#合并表格
table1 = pd.merge(order_product, products, on=["product_id", "product_id"])
table2 = pd.merge(table1, orders, on=["order_id", "order_id"])
table = pd.merge(table2, aisles, on=["aisle_id", "aisle_id"])
#交叉表合并
table = pd.crosstab(table["user_id"], table["aisle"])
#数据截取
table = table[:10000]
#特征工程PCA
transfer = PCA(n_components=0.9)
data = transfer.fit_transform(table)
#机器学习
estimator = KMeans(n_clusters=2, random_state=22)
y_predict = estimator.fit_predict(data)
#模型评估
a = silhouette_score(data, y_predict)
print(a)运行结果
在这里我的运行结果有点低，但是看很多教程的模型评估分数可以达到0.89的样子，目前还不清楚问题出现在哪里，也希望懂这方面的朋友提出自己的意见和看法。
