开放超大规模
Common Crawl
大规模开放网页抓取语料，常用于搜索、语言与网络研究。
commoncrawl.orgCommon Crawl是什么？
大规模开放网页抓取语料，常用于搜索、语言与网络研究。
Common Crawl属于“AI 与机器学习”类数据资源。大数据123收录它，是为了帮助用户先了解这个网站适合解决什么问题，再前往原站检索或下载数据。
适合用来做什么
- ✓寻找机器学习训练集与评测基准
- ✓发现文本、图像、音频和多模态数据
- ✓接入云端或开源 AI 数据工作流
主要特点
资源类型AI 与机器学习
内容标签网页语料、大模型、开放
站点属性开放、超大规模
链接情况可正常访问
使用前请注意
数据口径、授权方式、下载限制和更新时间以 commoncrawl.org 的官方说明为准。用于论文、报告或商业项目时，请核对许可协议并按要求注明来源；部分数据可能需要注册账号或申请权限。