1. 磐创AI-开放猫官方网站首页
  2. 机器学习
  3. TensorFlowNews

资源 | 机器学习高质量数据集大合辑

fendouai • 2018年10月25日 am12:00 • TensorFlowNews
点击上方“磐创AI”，选择“置顶公众号”

精品文章，第一时间送达

资源 | 机器学习高质量数据集大合辑

编译：蒋宝尚

转载自：大数据文摘，未经允许不得二次转载


在机器学习中，寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。


那么用于机器学习的开放数据集有哪些呢？文摘菌给大家推荐一份高质量的数据集，这些数据集或者涵盖范围广泛（比如 Kaggle），或者非常细化（比如自动驾驶汽车的数据）。


首先，在搜索数据集时，在卡内基·梅隆大学有以下说法：

  • 数据集不应混乱，因为你不希望花费大量时间清理数据。

  • 数据集不应该有太多行或列，因此很容易使用。

  • 数据越干净越好 —— 清洗大型数据集相当耗时。

  • 数据可以解答一些有趣的问题。


数据集查找器


Kaggle：Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆（Anthony Goldbloom）2010年在墨尔本创立的，主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。该平台已经吸引了80万名数据科学家的关注。


在这个平台中可以找到各种数据，从拉面的评分、篮球数据，到西雅图的宠物牌照应有尽有。

https://www.kaggle.com/


UCI机器学习库（UCI Machine Learning Repository）：这是网络上最早的数据集来源之一，是寻找各种有趣数据集的第一选择。虽然用户提供的数据集的清洁度不太一样，但绝大多数都是干净的。我们可以从 UCI 机器学习库直接下载数据，无需注册。

http://mlr.cs.umass.edu/ml/


VisualData：在这里计算机视觉数据集按类别分组，并且支持搜索查询。

https://www.visualdata.io/


公共政府数据集


Data.gov：在这里可以下载到多个美国政府机构的数据。从政府预算到学校成绩。但要注意的是，很多数据还有待进一步研究。

https://www.data.gov/


食品环境地图集（Food Environment Atlas）：当地的食物选择如何影响美国饮食的数据。

https://catalog.data.gov/dataset/food-environment-atlas-f4a22


学校系统财务状况（School system finances）：这里有美国学校系统财务状况的调查。

https://catalog.data.gov/dataset/annual-survey-of-school-system-finances


慢性病数据（Chronic disease data）：美国各地慢性病指标的数据。

https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9


美国国家教育统计中心（The US National Center for Education Statistics）：来自美国和世界各地的教育机构和教育人口统计数据。

https://nces.ed.gov/


英国数据服务：英国最大的社会、经济和人口数据收集机构。

https://www.ukdataservice.ac.uk/


数据美国（Data USA）：全面的、可视化的美国公共数据。

http://datausa.io/


金融和经济


Quandl： 里面有很多经济和金融数据，你可以使用这些数据建立预测经济指标或股价的模型。

https://www.quandl.com/


世界银行开放数据（World Bank Open Data）：涵盖世界各地人口统计、大量经济和发展指标的数据集。

https://data.worldbank.org/


货币基金组织的数据（IMF Data）：国际货币基金组织公布关于国际金融、债务率、外汇储备、商品价格和投资的数据。

https://www.imf.org/en/Data


英国金融时报金融时报市场数据（Financial Times Market Data：）：里面有来自世界各地的最新金融市场信息，包括股票价格指数、商品和外汇。

https://markets.ft.com/data/


谷歌趋势（Google Trends）：观察和分析有关互联网搜索活动和世界各地新闻故事趋势的数据。

http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0


美国经济协会(AEA)：这这里你可以找到美国宏观经济的相关数据。

https://www.aeaweb.org/resources/data/us-macro-regional


机器学习数据集


Labelme：数据集中包含大量有标注的图像数据。

http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php


ImageNet： 是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释。根据 WordNet 层次结构来组织，其中层次结构的每个节点都由成百上千个图像来描述。