eBay旧有推荐系统架构概览，原则上是比较主商品与众多商品的特征嵌入向量，并依照嵌入向量距离远近来排序推荐商品。（图片来源／eBay）
商品推荐是零售业的核心课题。从实体商店将类似或互补商品陈列在一起，到现今电商以数据驱动RMN广告，「如何呈现出顾客会有购买兴趣的商品」，是一个不同时代有不同答案的亘古问题。
有2兆元交易额、1.35亿名活跃会员、17亿项商品的电商平台eBay，正在尝试交出新时代的答案卷。
「电商领域中，99%个人化推荐系统还在用老旧的典范──把商品相似性当作关联性。」eBay AI长Nitzan Mekel-Bobrov直言。
早在2010年，eBay工程部落格的开站文章中，当时的eBay数据探勘主管Junling Hu便提到，他们新引入了协同过滤（Collaborative Filtering），将购买纪录相似的顾客分群，再推荐分群中不同顾客曾购买的商品给彼此，是当时相似性推荐的主流技术。
这15年间，随著技术进步，他们开始逐渐开始应用机器学习、深度学习等技术来强化推荐系统，更于2021年，聘任首任AI长Nitzan Mekel-Bobrov，主导推荐在内的AI做法。
eBay AI长分别在Boston Scientific、Capital One跟Booking.com等不同领域的大型企业担任了超过13年高阶数据工程主管，不过过往并没有零售业经验。刚加入eBay时，他听说零售业界强调个人化推荐，且有AI模型可以预测顾客间相似度，感到非常好奇。「结果我花了一个月研究，才发现这种说法根本是认知失调。」他不讳言。
Nitzan Mekel-Bobrov认为，零售业绝大多数的推荐模型，仍是基于商品相似性2大原则：第一个是先前提到的协同过滤，第二则是内容过滤（Content-based Filtering），比前者更加简单，单纯依据商品特征相似度来推荐商品。
许多复杂或利用先进技术的推荐系统，背后原理依然与此2原则脱不了关系。Nitzan Mekel-Bobrav举例，透过深度学习技术，AI模型可以从非常多维度来分析商品，将这些维度转换为嵌入向量（Embedding Vector），再利用K-近邻演算法（KNN，K-nearest Neibourgh）等方法，从向量空间中找出最接近的商品。这种做法仍属于内容过滤法精神。
另一个例子是，有些号称以顾客兴趣为中心的AI模型，会比较一系列的商品点击纪录，甚至进而预测下一个商品点击行为。不过，「这仍是从商品相似性为出发点，还把一个活生生的人化约成区区几个滑鼠点击。」Nitzan Mekel-Bobrav吐槽。
相似性推荐法已经不够有效
多年来，eBay也是从商品相似性出发，来进行个人化推荐。
这种思维带来的最大限制是，不论技术上如何先进，判断商品相不相似，都是基于电商对商品的分类方法，以及对相似性的定义。这意味著，就算有一组商品，在顾客认知中具有高度关联性，只要这些商品各自被归类到差异很大分类中，系统便无法推荐。
Nitzan Mekel-Bobrav指出：「这限制了商品探索阶段的可能性，打击了顾客体验和广告投报率，进而影响交易量。」
为了尝试涵盖更多顾客角度，eBay会赋予1种商品多种分类。以Jordan 1运动鞋为例，他们将这个商品分类在「服饰／男性／足类商品」、「服饰／男性／运动类商品」、「收藏品／服饰／足类商品」等，共12种分类下。不过，不论电商如何分类商品，顾客眼中都可能有更多种截然不同的分类方法。这对于有1.35亿名活跃会员、17亿项商品的eBay来说，尤其如此。
相似性推荐法另一个明显短版是，利用KNN、ANN（大约近邻演算法，Approximate Nearest Neighbour）等找出向量最接近商品的方法来做推荐，有可能因为同性质的商品数量过多，而使推荐内容枯燥无味，甚至全是不同卖家上架的相同商品。
他以自家电商页面为例，eBay商品页面会有类似商品版位及交叉销售版位，前者是用来呈现同款不同价位商品及类似款项商品，后者则是用于顾客商品探索，主要呈现互补品或其他关联商品。延续Jordan 1鞋子的案例，进入商品页面，这2种推荐商品版位，呈现出来的商品全都是同款鞋子。这是因为，eBay站上有太多人在卖同款鞋，即使交叉销售版位会检索嵌入向量邻近度稍微远一点的商品，还是只会找到同款鞋。
这种现象，等于使eBay失去了让顾客探索更多不同商品，促成更多订单的机会。不只如此，顾客还可能因为购物体验乏味，而直接离开网站，甚至减少未来造访频率。
渐进迭代式的改造推荐系统，先固本再革新
Nitzan Mekel-Bobrav认为，推荐系统最关键的课题就是，有效寻找高关联性（Relevance）商品，引起顾客购买兴趣。他强调，商品关联性由顾客定义，而非平台。这正是为什么，eBay必须打破实行二十几年的商品相似性推荐思维，采用一种新推荐方法，让具有不同角度及背景的顾客，都能找到在他们眼中具关联性的商品。
商品相似性推荐法将商品相似性与关联性画上等号。过往，eBay会制定一套理解商品的分类框架，再将顾客行为化简为静态的商品特征数据，来匹配邻近分类商品。这种做法聚焦商品数据，顾客数据颗粒度通常较为粗糙。
2021年起，eBay的推荐系统核心思维，开始采取不一样的新做法，改从顾客行为出发，猜测顾客眼中的商品关联性──不只根据相似性，也可能包括互补性、替代性，或其他关系。他们用接近即时的方法跟随顾客旅途，搜集顾客行为时序，不断猜测顾客兴趣，再根据兴趣推论顾客如何连结起商品。
从平台单一角度出发，分析单一种关联性因素，转变成从上亿个顾客角度出发，分析多种关联性因素，需要处理更大量、更细致的顾客及商品数据，难度较商品相似推荐方法高不少。
不过，对eBay来说都是，要多增加一个数据维度来支援推荐系统，都是一件庞大且艰难的工程。因为，他们的商品高达17亿项，而且类型多元，许多商品是非规格商品，甚至是不会重复上架的一次性贩售商品。许多常见的数据处理方法，难以规模化来套用到eBay这种量级和复杂度。例如，对每一件商品纪录上千维度的元数据，再计算出这些元数据间的种种关联，以eBay规模来说是一件成本极高的事情。
eBay建设推荐机制的超高难度，使他们转移推荐典范时并非一蹴而就，而是从强化既有推荐做法开始，先训练出自己的语言模型，来处理商品文字资讯，再加入了更多维度及模态的商品数据，作为推荐依据。他们还得想办法优化庞大模型的运算量，来缩短推荐系统的计算延迟，也能处理更多更复杂的数据。
对商品数据累积足够的理解后，他们开始扩大搜集及分析更多种类、更细致的顾客行为，要从顾客角度，描绘出专属每一个人的商品关联性框架。