发帖
雷达卡
简介： 在对最近提出的前N名推荐者中DNN的18项进步进行的全面研究中，只有7项提出了足够的数据来进行复制。更糟糕的是，在可以适当复制的7种方法中，没有一种方法比简单的线性和KNN技术有任何实际改进。
想象一下，您是电子商务站点中主要数据科学团队的负责人，推荐人是增加收入的关键工具。您以自己和您的团队都通过参加会议和监控论文来了解最新进展而感到自豪。
您值得信赖的推荐人线索催生了新论文。刚从提交论文的RecSys会议上回来，他就向您展示了结果。看起来，使用新技术可以使您的前N名推荐人提高几个百分点。缺点是，您将需要采用一种新的DNN协作过滤模型，这将需要更多的计算量，并且意味着您的某些团队需要进行大量的技能培训。
您会惊讶地发现该论文中的结果不可重复吗？甚至更多的是，与之进行比较的基准技术没有得到适当的优化。而且，如果确实如此，那么简单得多的技术将被证明是更好的。
在最近的论文“ 我们真的在取得很大进步 ”中，研究人员Maurizio Ferrari Dacrema，Paolo Cremonesi和Dietmar Jannach提出了一个重大的危险信号。休斯顿，我们有一个再现性问题。
此外，当他们确实成功复制了本文中描述的技术时，他们几乎普遍发现基线比较的优化不佳。如果进行了优化，则更简单的基线技术将胜过耀眼的新程序。
他们令人惊讶的发现始于他们系统地搜索大型会议的论文，这些论文报告了依靠深度学习方法取得的进步的前N名推荐人的进步。他们总共确定了18个。在这18个中，只有7个提供了足够的详细信息，包括试图重现结果的源代码和数据集。对于无法测试的11篇论文，这令人失望，但还有更多。
在可以复制的7个样本中，他们发现有6个样本经过微调的线性或最近邻居模型实际上表现出色。在剩下的一种情况下，新模型在某些情况下表现出色，但在其他情况下则没有。
它们用于比较的更简单的线性方法就是这些。您可能也正在使用这些。
热门商品：一种非个性化的方法，向所有人推荐最受欢迎的商品。受欢迎程度通过显式或隐式评级的数量来衡量。
项目KNN：一种基于k最近邻（KNN）和项目相似度的传统协作过滤（CF）方法。
用户KNN：使用协作用户-用户相似性的基于邻域的方法。
项目KNN-CBF：一种基于邻域基于内容的过滤（CBF）方法，具有通过使用项目内容特征计算的项目相似度。
Item KNN-CFCBF：一种基于项目相似度的CF + CFB混合算法。
P 3 α：一个简单的基于图形的算法，它实现用户和项之间的随机游动。
RP 3 β： P的版本3 α其中，P的成果3 α是由通过上升到系数的功率的每个项目的受欢迎程度划分相似度修改。
在所有情况下，均使用Scikit-Optimize6通过贝叶斯搜索优化了基线比较案例。对于每项测试，研究人员检查了35个不同的初始随机点，邻域大小和收缩项的案例。
这是DNN“改进”技术的简要说明，一旦对基线技术进行了适当优化，这些技术就根本无法得到改进。
协作内存网络（CMN）
CMN方法是在SIGIR '18上提出的，它将记忆网络和神经注意机制与潜在因子和邻域模型结合在一起。在优化基线后，没有针对三个测试数据集的单个实例中的CMN表现最佳。下表显示了性能较高的模型的测试结果，粗体显示。
作者为您可以在原始论文中看到的以下每个测试提供类似的表格。
基于元路径的推荐上下文（MCRec）
在KDD '18上展示的MCRec是一个基于元路径的模型，该模型利用诸如电影流派之类的辅助信息来进行top-n推荐。从技术角度来看，作者提出了一种基于优先级的采样技术来选择更高质量的路径实例，并提出了一种新颖的共同注意机制来改善基于元路径的上下文，用户和项的表示。
协作变分自动编码器（CVAE）
在KDD '18上提出的CVAE方法是一种混合技术，同时考虑了内容和评级信息。该模型以无人监督的方式从内容数据中学习深层潜在表示，并且还从内容和评分中学习项目与用户之间的隐式关系。
协作深度学习（CDL）
讨论的CVAE方法将KDD '15中的较早且经常被引用的CDL方法视为其基准之一，并且作者还使用了相同的评估程序和CiteULike数据集。CDL是一种概率前馈模型，用于联合学习堆叠式降噪自动编码器（SDAE）和协作过滤。它应用深度学习技术来共同学习内容信息和协作信息的深度表示。
神经协作过滤（NCF）
在WWW '17上展示的基于神经网络的协作过滤通过将内部乘积替换为可以从数据中学习任意函数的神经体系结构来概括矩阵分解。在两个数据集（MovieLens1M和Pinterest）上评估了提出的混合方法（NeuMF），分别包含100万和150万交互。
光谱协同过滤（SpectralCF）
在RecSys '18上展示的SpectralCF是专门针对冷启动问题而设计的，它基于频谱图理论的概念。它的建议基于二分用户-项目关系图和新颖的卷积运算，用于直接在 频谱域中进行协作推荐。
之前的六种技术都被认为不如训练有素的简单基准技术。 事实证明，以下技术相对于使用SLIM升级后的基准而言，有很小的改进，但是在稍微不同的测试条件下，这种差异消失了。
协同过滤的变体自动编码器（Mult-VAE）
Mult-VAE是一种基于变分自动编码器的隐式反馈协作过滤方法。这项工作在WWW '18上进行了介绍。作者使用Mult-VAE引入了具有多项式似然的生成模型，为学习目标提出了不同的正则化参数，并使用贝叶斯推理进行了参数估计。他们在最初包含电影评分或歌曲播放次数的三个二值化数据集中评估了他们的方法。
使用他们的代码和数据集，我们发现所提出的方法确实始终优于我们非常简单的基线技术。获得的准确性结果比我们的最佳基准高出10％到20％。因此，使用Mult-VAE，我们在检查的文献中发现了一个例子，在所有配置中，较复杂的方法在很大程度上比我们的任何基线技术都更好。
对于这两个数据集，我们都可以重现结果，并观察到原始论文中报告的不同度量值对SLIM的改进高达5％。
就NDCG（优化目标）而言，Mult-VAE和SLIM之间的差异非常小。但是，就召回而言，Mult-VAE对SLIM的改进似乎是可靠的。由于使用的截止值的选择（Recall的截止值为20和50，NDCG的截止值为100），因此我们在不同的截止长度下进行了额外的测量。他们表明，将NDCG用作优化目标和性能指标时，SLIM和Mult-VAE之间的差异在此数据集上消失了，而SLIM有时有时会稍微好一些。
带走
在采用“热门新事物”的DNN方法之前，您可能会考虑尝试自己重现结果。正如这些作者所发现的那样，这些论文中没有多少提供了足够的信息来再现他们的发现，并且像本研究中一样，当适当地优化DNN技术时，基本上发现所有DNN技术都不如简单技术。
关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
