初学入门 | Amazon Kinesis Data Streams 是什么？
名称由来
Amazon Kinesis Data Streams 的命名源于希腊语“Kinesis”（意为“运动”），旨在解决企业面对海量实时数据时“存不下、用不快”的痛点。随着物联网设备、应用日志和用户行为数据的爆发式增长，传统批处理模式无法满足毫秒级响应需求。AWS 通过整合流式存储、弹性扩展与低延迟传输能力，打造了这一无服务器架构的流数据服务，使企业能像处理“水流”般动态捕捉、存储和分析数据。
主要功能
该服务提供四大核心能力。
高吞吐数据摄入：支持每秒数 GB 的数据写入，单流可扩展至百万级记录 / 秒，数据按分区键（Partition Key）分配到分片（Shard）中，确保有序处理。
持久化存储与加密：数据存储 24 小时（可扩展至 365 天），支持 AWS KMS 服务器端加密，保障敏感数据安全。
多模式消费：通过增强型扇出（Enhanced Fan-Out）实现每消费者专属 1MB/s 吞吐量，或通过标准模式共享分片带宽。
无缝集成生态：与 Kinesis Data Firehose（自动加载至 S3/Redshift）、Lambda（事件驱动处理）、Managed Service for Apache Flink（托管流处理）深度整合，构建端到端实时管道。
工作原理
数据流经“生产者 - 分片层 - 消费者”三层架构。
生产者层：Web 服务器、IoT 设备等通过 PutRecord API 或 Kinesis Producer Library（KPL）将数据写入流，KPL 自动处理批处理、重试和背压控制。
分片层：流由多个分片组成，每个分片提供 1MB/s 写入和 2MB/s 读取能力。分片数可动态调整（拆分 / 合并），应对流量波动。
消费者层：EC2 集群、Lambda 函数或 Flink 作业通过 GetRecords API 或增强型扇出订阅分片，按序列号顺序处理数据。例如，Netflix 用其监控全球应用通信，故障发现时间从小时级降至秒级。
使用场景
实时监控与告警：金融交易系统通过 Kinesis 捕获每秒数万笔订单，结合 Lambda 实时检测异常交易模式，触发风控措施。
动态定价优化：电商 Fast Sneakers 用其采集用户点击流，Flink 作业实时分析潮流趋势，每 5 分钟更新运动鞋价格，提升收益。
物联网数据处理：工业传感器流传输设备状态数据，Kinesis 分片存储后触发 SageMaker 模型推理，预测设备故障并自动派单。
广告技术栈：广告平台通过 Kinesis 摄入用户行为数据，Firehose 近实时加载至 Redshift，支持广告投放效果秒级优化。