算法 自动采集列表(本文深度挖掘商场内长尾商品，提高推荐系统的意义)

　　算法 自动采集列表(本文深度挖掘商场内长尾商品，提高推荐系统的意义)

　　本文从构建推荐系统的意义出发，分析总结了推荐系统设计和过程中需要注意的问题，供大家参考学习。

　　

　　一、构建推荐系统的意义1. 减少商品信息过载问题，帮助用户快速找到喜欢的商品

　　目前，商场内门店众多，商品排列密集，在一定程度上干扰了用户的选择。在用户面前，缩短进货路径，增加订货量。

　　2. 深入挖掘商城长尾产品提升GMV

　　经过一系列的商品数据采集、分析、标注操作，实现商品的统一管理，深度挖掘长尾商品，将这些商品推送给目标客户，增加曝光率，减少商品的接触容器，依赖于商店的位置，从而增加营业额。

　　3. 针对漫无目的的顾客，推荐打折产品和营销活动，激发他们的购买欲望

　　对于没有购物目的的人群，推荐系统自动推荐低价好商品、热门活动、限量商品，吸引顾客注意力，达到营销和店铺导流的目的，激发顾客的购买欲望，并增加订单数量。

　　4. 通过购物车分析，向客户推荐更多相关产品，提高用户的惊喜和满意度

　　针对老客户，通过购物车分析，向客户推荐性价比更高的同类产品，提升用户购物体验的惊喜和满意度。

　　二、数据采集和数据准备

　　针对上述需求，我们的最终目标是匹配人、货、市场。为此，我们需要采集有关用户、商场和产品的数据。包括：

　　

　　商城信息：

　　

　　物品信息：

　　

　　三、推荐算法实现

　　整个推荐算法主要利用商场的用户行为数据，采用基于邻域的用户协同过滤和物品协同过滤。

　　1. 基于商场用户的协同过滤算法

　　基于用户的协同过滤算法基本上分为2个步骤：

　　通过分析商场用户的历史订单信息，计算用户的行为向量，寻找相似的用户群体。从相似组的所有已购买商品列表中筛选出已购买商品后，将未触及的商品同时推送给用户。

　　首先计算用户相似度，找到相似的人群，比较用户对，得到用户对的相似度。具体算法如下：

　　假设有2个用户A和B，用户A购买了{a,b,d}，用户B购买了{a,c}，我们同意：

　　然后根据余弦相似度公式：

　　

　　假设现在有一组这样的用户购买记录数据，如下图所示：

　　用户 A 购买了 {a, b, d}，用户 B 购买了 {a, c}，用户 C 购买了 {b, e}，用户 D 购买了 {c, d, e}，

　　

　　我们可以得到：

　　W(AB)=0.409;

　　W(AC)=0.409;

　　W(AD)=0.333;

　　根据用户A与其他所有用户的相似度值，从高到低排序，依次为B、C、D。一般情况下，我们会选择与用户A最相似的K个用户进行推荐。假设此时我们取k=3，那么用户B、C、D的所有商品都减去A已经购买的商品，得到一个推荐列表，即{c,e}。

　　此时，推荐列表为无序列表。为了提高推荐的准确率，我们需要计算A对上面列表中每个item的喜欢程度，然后推荐最符合A兴趣的item。

　　分别计算用户A对c和A的物品e的偏好程度：

　　根据公式：

　　

　　w(uv)指的是用户u和用户v的相似度，r(vi)指的是用户v对item i的偏好程度，这里默认=1得到：

　　p(A,c)=W(AB) +W(AD)=0.409+0.333=0.742；

　　P(A,e)=W(AC)+W(AD)= 0.409+0.333=0.742；

　　2. 基于Item的协同过滤算法

　　基于item的协同过滤算法基本上分为2个步骤：

　　计算商场内商品/店铺的相似商品/店铺集合；根据产品/店铺的相似度和用户对此类产品/店铺的偏好，将权重最高的产品/店铺推送给用户。

　　这里我们约定：产品/店铺相似度的计算是基于喜欢该商品的用户数。我们默认：喜欢item a和item b的人越多，这两个item的相似度就越大。

　　我们同意：

　　然后也使用余弦相似度：

　　

　　假设，在数据采集中，有这样一组用户数据：

　　答：{a,b,d}

　　B:{b,c,e}

　　C:{c,d}

　　D:{b,c,d}

　　E:{a,d}

　　我们通过构造矩阵得到物品相似度矩阵：

　　

　　那么物品a和b的相似度为：

　　W(ab)=0.409;

　　W(交流)=0；

　　W(广告)=0.707;

　　W(ae)=0；

　　W(bc)=0.667;

　　W(bd)=0.333;

　　W(be)=0.578;

　　W(ce)=0；

　　W(de)=0;

　　使用公式，计算用户 u 对商品 j 的兴趣：

　　

　　当K=3时，选择与a最相似的item为b、c、d；最接近 b 的项目是 c、d 和 e；

　　3. 其他混合推荐算法

　　使用基于用户标签、基于上下文的信息和基于社交数据的扩展推荐作为用户兴趣来丰富推荐系统的结果。

　　四、冷启动问题处理

　　当系统刚刚发布，数据还没有完全准备好时，做精细化的个性化推荐是非常具有挑战性的。这时候就需要找到合适的方法来解决系统上线后没有推荐数据的问题。一般来说，我们可以从几个方面着手解决这些问题：

　　五、推荐系统评估与迭代

　　对商业推荐系统的评价一般从用户满意度、预测准确度、覆盖率、多样性、新颖性、惊喜性、信任度、实时性、鲁棒性、商业目标等维度来考虑。

　　1. 用户满意度

　　用户是推荐系统的重要参与者，用户满意是推荐系统优化所追求的目标。判断用户是否满意，我们可以从以下几个方面着手：

　　用户问卷调查通过问卷形式直接获取用户感受；数据统计，我们可以统计用户购买推荐产品的比例，如果用户购买了推荐产品，就说明用户对产品有一定的满意。2. 预测精度

　　推荐系统的准确率是通过离线实验计算来衡量的。在计算该指标时，需要一个离线数据集，其中收录用户的历史行为记录，然后将该数据集划分为训练集和测试集。最后将训练集的模型计算结果与测试集进行比较，以预测行为与测试集行为的一致程度作为预测精度。

　　比如在TopN推荐中，一般用准确率和召回率来衡量。令 R(u) 表示训练集中用户的推荐列表；T(u) 是测试集上的行为列表。

　　那么召回率（Recall）=

　　

　　和准确度（Precision）=

　　

　　3. 覆盖范围

　　覆盖率是评估推荐系统发现项目长尾的能力。即推荐项目集占总项目集的比例。或者更详细的是统计不同物品推荐次数的分布。如果所有项目都出现在推荐列表中，并且出现次数相近，那么系统的覆盖率就比较高。

　　4. 多样性

　　多样性要求推荐列表需要覆盖用户不同的兴趣领域，兼顾用户的主要兴趣点，同时兼顾用户的其他兴趣，从而扩大用户浏览量，增加订单量。

　　5. 新奇

　　一般来说，推荐结果的平均流行度是对新颖性的粗略衡量。如果要提高新颖性的准确性，则需要进行用户调查。

　　6. 惊喜

　　惊喜度是对推荐系统的更高要求。基本上是指如果推荐结果与用户的历史兴趣不相似，但用户满意。

　　7. 信任

　　如果推荐结果的可解释性增加了用户的信任度，例如提示用户您的xx朋友购买了该产品，这将使用户对推荐产品更感兴趣。

　　8. 实时

　　如果推荐结果能够根据用户的行为实时变化，则说明系统具有更好的实时性。目前，许多公司使用流计算来提高系统的实时响应能力。

　　9. 健壮性

　　众所周知，大多数推荐系统通过分析用户行为来实现推荐算法。如果有人恶意注入行为攻击，很容易造成推荐结果不准确。因此，一个好的推荐系统需要对噪声数据有很强的抵抗力。能力。

　　10. 商业目标

　　推荐系统的结果必须时刻关注是否与业务目标一致。技术的驱动离不开业务的支持。只有能给公司带来利润的制度才能更长久。

　　本文由@alentin原创发布给大家都是产品经理。未经许可禁止转载。

　　标题图片来自Unsplash，基于CC0协议。

　　给作者一个奖励，鼓励他努力！

　　称赞