本实验带你第一次使用 Amazon Data Firehose。Firehose 是一项全托管服务,可以将实时数据自动加载到指定目的地。你不需要写代码或管理服务器,只需告诉 Firehose“数据去哪里”,它会自动完成传输。数据源选Direct PUT,意味着你可以手动往里塞数据,最适合测试。目的地选S3,数据落地后自动存为JSON文件,按日期分区。完成实验后,你将学会,在 AWS 控制台创建一个 Firehose 传输流,设置 S3 存储桶作为数据目的地,并使用控制台模拟数据功能测试整个流程。
理解 Firehose 的三个核心概念即可上手。第一,“传输流”是 Firehose 的基础实体,必须先创建它才能使用。第二,“记录”是数据生产者发送的数据单元,每条最大 1000 KB。第三,“缓冲区”是 Firehose 在发送前暂存数据的地方。你可以设置“缓冲区大小”(如 5 MB)或“缓冲间隔”(如 300 秒),哪个条件先满足就触发一次交付。。
本次采用 AWS Console 界面完成作业。
注意:根据项目的具体情况,可以采用不同的实施方法。比如使用命令行(CLI)部署、代码部署 (CloudFomation、Terraform等)、以及其它开发语言(SDK)完成作业。
步骤一:准备目标端的 S3 存储桶。
进入 S3 控制台,点击“创建存储桶”。桶名称输入“firehose-lab-你的英文名”(需全局唯一)。区域保持默认,其他设置全部保持默认。点击“创建存储桶”,记录下桶名称。
步骤二:创建 Firehose 传输流。
进入 Amazon Data Firehose 控制台,点击“创建 Firehose 流”。在“源”下选择“直接 PUT”。“目标”下选择“Amazon S3”。给流起一个名字,如“my-first-firehose-stream”。在“目标设置”中,点击“浏览”选择你刚创建的 S3 存储桶。缓冲条件保持默认:缓冲区大小 5 MB,缓冲间隔 300 秒。向下滚动,找到“权限”部分,选择“创建或更新 IAM 角色”,让 Firehose 自动获得写入 S3 的权限。点击页面底部的“创建 Firehose 流”。
步骤三:测试数据传输。
等待几秒,传输流状态变为“活跃”。点击进入流详情页,找到“使用演示数据进行测试”区域。点击“开始发送演示数据”。控制台会开始模拟生成数据,并自动发送到你的传输流。保持页面打开,等待 1-2 分钟。
1. 在S3 控制台,打开对应的存储桶。你应该能看到按年/月/日/小时组织的文件夹路径,例如 2026/06/08/15/。点击进入,会找到一个或多个以 my-first-firehose-stream 开头的文件。看到这些文件出现,证明你的 Firehose 传输流已成功运行。
2. 回到 Firehose 控制台,点击“停止发送演示数据”。如需清理资源,进入 S3 存储桶删除所有测试文件,然后删除 Firehose 传输流即可。