本实验带你完成第一次 AWS Data Exchange 数据订阅。你不需要写代码,不需要下载文件,只需要在控制台上点几下,就能把第三方数据直接拿到自己的 S3 存储桶里。通过这个实验,你会理解 Data Exchange 的核心价值:找数据、订数据、用数据,三步搞定。
AWS Data Exchange 是 AWS 官方的数据市场。里面有上千种数据集,覆盖天气、金融、地理、人口等多个领域。数据提供方包括官方机构和第三方公司。理解 AWS Data Exchange 的运行逻辑,你需要掌握两个核心角色。第一个是“数据提供者”,他们是数据的生产者,比如天气预报公司或金融分析机构。第二个是“数据订阅者”,也就是作为用户的你。AWS Data Exchange 就是连接两者的平台。
订阅后,数据会自动推送到你指定的 S3 存储桶,按周或按需更新。你不需要手动下载,也不需要维护任何连接。Data Exchange 支持两种获取方式:一种是直接订阅,数据定期推送到 S3;另一种是使用 API 按需获取。对于初学者,直接订阅是最简单的方式。本次实验使用 AWS 官方提供的免费示例数据集,无需付费。数据格式为 CSV,可以直接用 Athena 查询。
本次采用 AWS Console 界面完成作业。
注意:根据项目的具体情况,可以采用不同的实施方法。比如使用命令行(CLI)部署、代码部署 (CloudFomation、Terraform等)、以及其它开发语言(SDK)完成作业。
步骤一:找到数据集。
登录 AWS 控制台,选择定价计划为“Free“,搜索"(Test Data)",进入服务页面。在搜索框输入"USA Name",找到 "Worldwide Event Data (Test Data)” 这个免费数据集,点击进入详情页。你会看到数据集的描述、更新频率和样本预览。
步骤二:订阅产品。
进入产品详情页后,点击右上角的 “继续订阅” 按钮。在报价选择页面,你会看到定价,确认后点击底部的 “订阅”。
步骤三:查看数据。
订阅处理需要等待几十秒。刷新页面后,在左侧导航栏的“已订阅 AWS Marketplace”下,点击“活跃订阅”。点击刚才订阅的产品名称,展开详情页,在“已授权数据集”部分,你会看到名为 Worldwide Event Data (Test Data) 的数据集。
1. 在“已授权数据集”部分,选择数据集名称,确认点击“下载数据词典“,可以下载。
2. 在“已授权数据集”部分,点击数据集名称,在打开页面中,可以查询数据和查看数据共享。
3. 在左侧导航栏的“我的数据”下面,点击”已授权数据”,可以看到订阅的数据集。