楼主: 信息熵20477
81 1

[公开数据] Amazon Reviews 2023:5.7 亿条评论、33 个类目与 parent_asin 关联陷阱(750 GB) [推广有奖]

  • 0关注
  • 0粉丝

等待验证会员

学前班

0%

还不是VIP/贵宾

-

威望
0 级
论坛币
0 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
10 点
帖子
0
精华
0
在线时间
0 小时
注册时间
2026-11-5
最后登录
2026-11-5

楼主
信息熵20477 发表于 昨天 10:42 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

Amazon Reviews 2023 是 UCSD 的 McAuley Lab 发布的大规模电商评论集,论文是 arXiv 2403.03952《Bridging Language and Items for Retrieval and Recommendation》。规模是 5.7154 亿条评论、5,451 万用户、4,819 万商品、33 个类目,时间从 1996 年 5 月到 2023 年 9 月,全量文件合计约 750 GB。

 

与 2018 版相比,评论数增长 245.2%,商品数从 1,517 万涨到 4,819 万。这个量级已经不是"下载下来看看"的规模,用之前必须先想清楚要哪一类。

 

文件是按类目切的,不是一个大表

 

每个类目两个压缩文件:review_categories/{Category}.jsonl.gz 放评论,meta_categories/meta_{Category}.jsonl.gz 放商品元数据,托管在 UCSD 的数据仓,不在 HuggingFace 本体上。

 

在 HuggingFace 上对应两组 config:raw_review_All_Beauty 这种(评论)、raw_meta_All_Beauty(元数据)。因为仓库带 loading script,浏览器的 Dataset Viewer 被禁用,必须用 datasets 库加 trust_remote_code=True 加载,官方也建议先转 Parquet。

 

只想要一小份试手,用 All_Beauty:63.2 万用户、11.26 万商品、70.15 万条评分,是全库最小的类目。

 

类目规模差得很远

 

评论数最多的几类:Home_and_Kitchen 6,740 万条(2,320 万用户、370 万商品)、Clothing_Shoes_and_Jewelry 6,600 万、Electronics 4,390 万、Books 2,950 万、Tools_and_Home_Improvement 2,700 万、Health_and_Household 2,560 万、Beauty_and_Personal_Care 2,390 万。

 

还有一个容易被忽略的 "Unknown" 类:6,380 万条评分、2,310 万用户、1,320 万商品。它不是一个小尾巴,而是第四大"类目"。做领域划分时如果不显式处理 Unknown,样本结构与真实分布会对不上。

 

两类字段

 

评论侧:rating(1—
5)、title、text、images(用户上传图,多尺寸 URL)、asin、parent_asin、user_id、timestamp(Unix 毫秒)、verified_purchase、helpful_vote。

 

元数据侧:main_category、title、average_rating、rating_number、features(要点列表)、description、price、images(thumb/large/hi_res,带 variant)、videos、store、categories(层级)、details(材质品牌尺寸等,实际是 JSON 字符串)、parent_asin、bought_together。

 

四个必须知道的坑

 


第一,asin 与 parent_asin 不是一回事。旧版数据集文档里的 "asin" 实际是 parent ID;2023 版里 asin 是具体变体(某个颜色或尺寸),parent_asin 才是商品系列。跨评论表与元数据表关联,必须用 parent_asin,用 asin 会大量匹配不上。

 


第二,商品计数是基于"评论中出现过的商品",不是元数据文件里的商品;卡片明确写了部分商品缺元数据。所以"4,819 万商品"不等于有 4,819 万条元数据。

 


第三,字段脏点不少。price 可能是字符串 'None'(抓取时没抓到价格);images 的 hi_res 列表里可能出现 None;details 是 JSON 字符串,要自己 json.loads。

 


第四,没有许可证声明。卡片全文没有 License,只有平台通用条款。这意味着商用或再分发之前必须自行向作者确认——这一点比技术细节更重要。

 

时间戳与划分

 

时间跨度 1996.05—2023.09,卡片称时间戳精确到秒级或更细,示例里是毫秒(1588687728923)。实际数据可能混用精度,做时间对齐前先抽样校验量级:10 位是秒,13 位是毫秒。

 

卡片说提供了标准数据划分便于 RecSys 基准,但具体策略(时间切分还是 leave-one-out)写在项目站 amazon-reviews-2023.github.io 的 Common Data Processing 一节,不在卡片里。

 

适合谁、怎么下手

 

适合:推荐系统与检索研究(原文就是做 item 检索的)、评论情感与有用性预测、跨类目用户行为分析、LLM 时代的商品理解任务。

 

不适合:想直接拿一份 CSV 做小分析的人——750 GB 且按类目切开,得先选类目;也不适合需要明确商用授权的人,因为没有 License。

 

上手路径建议:先拉 All_Beauty 的 review 与 meta 两个文件(几百 MB 级),跑通关联与字段解析;再换成 Electronics 或 Books 这类中等规模的类目;最后才考虑全量。

 

────────────────

数据集页、UCSD 数据仓路径、论文与项目站入口都在下面,回复一下就能看到。


游客,如果您要查看本帖隐藏内容请回复

把经管之家装进你常用的 AI 智能体中

一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。

检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金

请点击查看安装教程与福利 →

说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝


沙发
人的城镇化62758 发表于 昨天 12:29
感谢楼主整理这份数据

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
扫码
拉您进交流群
GMT+8, 2026-11-6 01:30