AWS Certified Data Engineer - Associate
• 内容领域 1： 数据摄取和转换（占计分内容的 34%）
• 内容领域 2： 数据存储管理（占计分内容的 26%）
• 内容领域 3： 数据操作和支持（占计分内容的 22%）
• 内容领域 4： 数据安全与监管（占计分内容的 18%）
任务 1.1： 执行数据摄取
技能 1.1.1： 从流数据来源（例如，Amazon Kinesis、Amazon Managed Streaming for Apache Kafka [Amazon MSK]、Amazon DynamoDB Streams、AWS DMS、AWS Glue、Amazon Redshift）读取数据。
技能 1.1.2： 从批量数据来源（例如，Amazon S3、AWS Glue、Amazon EMR、AWS DMS、Amazon Redshift、AWS Lambda、Amazon AppFlow）读取数据。
技能 1.1.3： 为批量摄取实施相应的配置选项。
技能 1.1.4： 使用数据 API。
技能 1.1.5： 使用 Amazon EventBridge、Apache Airflow 或基于时间的任务和爬网程序计划，设置调度器。
技能 1.1.6： 设置事件触发器（例如，Amazon S3 事件通知、EventBridge）。
技能 1.1.7： 从 Kinesis 调用 Lambda 函数。
技能 1.1.8： 为 IP 地址创建允许列表来允许连接到数据来源。
技能 1.1.9： 实施节流和解决速率限制问题（例如，DynamoDB、Amazon RDS、Kinesis）。
技能 1.1.10： 管理流数据分配的扇入和扇出。
技能 1.1.11： 描述数据摄取管道的可重放性。
技能 1.1.12： 定义有状态和无状态数据事务。
任务 1.2： 转换和处理数据
技能 1.2.1： 优化容器使用来满足性能需求（例如，Amazon EKS、Amazon ECS）。
技能 1.2.2： 连接到不同的数据来源（例如，Java 数据库连接 [JDBC]、开放式数据库连接 [ODBC]）。
技能 1.2.3： 整合来自多个来源的数据。
技能 1.2.4： 在处理数据时优化成本。
技能 1.2.5： 根据要求实施数据转换服务（例如，Amazon EMR、AWS Glue、Lambda、Amazon Redshift）。
技能 1.2.6： 在不同格式之间转换数据（例如，从 .csv 转换到 Apache Parquet）。
技能 1.2.7： 对常见的转换失败和性能问题进行故障排除和调试。
技能 1.2.8： 创建数据 API，通过 AWS 服务向其他系统提供数据。
技能 1.2.9： 定义数据数量、速度和种类（例如，结构化数据、非结构化数据）。
技能 1.2.10： 集成大型语言模型 (LLM) 以进行数据处理。
任务 1.3： 编排数据管道
技能 1.3.1： 使用编排服务为 ETL 数据管道构建工作流（例如，Lambda、EventBridge、Amazon Managed Workflows for Apache Airflow [Amazon MWAA]、AWS Step Functions、AWS Glue 工作流）。
技能 1.3.2： 构建数据管道来提高性能、可用性、可扩展性、韧性和容错能力。
技能 1.3.3： 实施和维护无服务器工作流。
技能 1.3.4： 使用通知服务发送警报（例如，Amazon SNS、Amazon SQS）。
任务 1.4： 应用编程概念
技能 1.4.1： 优化代码来减少数据摄取和转换的运行时间。
技能 1.4.2： 配置 Lambda 函数来满足并发性和性能需求。
技能 1.4.3： 使用编程语言和框架（例如 Python、SQL、Scala、R、Java、Bash、PowerShell）完成数据工程任务。
技能 1.4.4： 使用软件工程最佳实践（例如，版本控制、测试、记录、监控）完成数据工程任务。
技能 1.4.5： 使用基础设施即代码 (IaC) 部署数据工程解决方案。
技能 1.4.6： 使用 AWS SAM 打包和部署无服务器数据管道（例如，Lambda 函数、Step Functions、DynamoDB 表）。
技能 1.4.7： 从 Lambda 函数中使用和挂载存储卷。
技能 1.4.8： 使用基础设施即代码 (IaC) 进行可重复的资源部署（例如，AWS CloudFormation 和 AWS CDK）。
技能 1.4.9： 描述持续集成和持续交付 (CI/CD)（实施、测试和部署数据管道）。
技能 1.4.10： 定义分布式计算。
技能 1.4.11： 描述数据结构和算法（例如，图形数据结构和树数据结构）。
任务 2.1： 选择数据存储
技能 2.1.1： 根据特定成本和性能要求实施相应的存储服务（例如，Amazon Redshift、Amazon EMR、AWS Lake Formation、Amazon RDS、Amazon DynamoDB、Amazon Kinesis Data Streams、Amazon Managed Streaming for Apache Kafka [Amazon MSK]）。
技能 2.1.2： 根据特定访问模式和要求配置相应的存储服务（例如，Amazon Redshift、Amazon EMR、Lake Formation、Amazon RDS、DynamoDB）。
技能 2.1.3： 根据相应的使用案例应用存储服务（例如，对 Amazon Aurora PostgreSQL 使用分层可导航小世界网络 [HNSW] 等索引算法，以及使用 Amazon MemoryDB 实现快速键/值对访问）。
技能 2.1.4： 将迁移工具集成到数据处理系统（例如，AWS Transfer Family）。
技能 2.1.5： 实施数据迁移或远程访问方法（例如，Amazon Redshift 联合查询、Amazon Redshift 实体化视图、Amazon Redshift Spectrum）。
技能 2.1.6： 管理锁定来防止访问数据（例如，Amazon Redshift、Amazon RDS）。
技能 2.1.7： 管理开源表格式（例如 Apache Iceberg）。
技能 2.1.8： 描述向量索引类型（例如 HNSW、IVF）。
任务 2.2： 了解数据编目系统
技能 2.2.1： 通过数据目录使用数据来源中的数据。
技能 2.2.2： 构建和引用技术数据目录（例如，AWS Glue Data Catalog、Apache Hive 元存储）。
技能 2.2.3： 查找架构并使用 AWS Glue 爬网程序填充数据目录。
技能 2.2.4： 将分区与数据目录同步。
技能 2.2.5： 创建新的源或目标连接进行编目（例如，AWS Glue）。
技能 2.2.6： 创建和管理企业数据目录（例如，Amazon SageMaker Catalog）。
任务 2.3： 管理数据的生命周期
技能 2.3.1： 执行加载和卸载操作，在 Amazon S3 和 Amazon Redshift 之间移动数据。
技能 2.3.2： 管理 S3 生命周期策略来更改 S3 数据的存储层。
技能 2.3.3： 使用 S3 生命周期策略，让数据在到达特定期限时过期。
技能 2.3.4： 管理 S3 版本控制和 DynamoDB TTL。
技能 2.3.5： 删除数据来满足业务和法律要求。
技能 2.3.6： 使用相应的韧性和可用性功能保护数据。
任务 2.4： 设计数据模型和架构演变
技能 2.4.1： 为 Amazon Redshift、DynamoDB 和 Lake Formation 设计架构。
技能 2.4.2： 解决数据特性变化问题。
技能 2.4.3： 执行架构转换（例如，使用 AWS SCT 和 AWS DMS 架构转换）。
技能 2.4.4： 使用 AWS 工具（例如，Amazon SageMaker ML Lineage Tracking 和 Amazon SageMaker Catalog）确定数据血统。
技能 2.4.5： 描述索引编制、分区策略、压缩和其他数据优化技术的最佳实践。
技能 2.4.6： 描述向量化概念（例如，Amazon Bedrock 知识库）。
任务 3.1： 使用 AWS 服务自动处理数据
技能 3.1.1： 编排数据管道（例如：Amazon Managed Workflows for Apache Airflow [Amazon MWAA]、AWS Step Functions）。
技能 3.1.2： Amazon 托管工作流故障排除。
技能 3.1.3： 通过代码调用 SDK 来访问 Amazon 功能。
技能 3.1.4： 使用 AWS 服务功能处理数据（例如：Amazon EMR、Amazon Redshift、AWS Glue）。
技能 3.1.5： 使用和维护数据 API。
技能 3.1.6： 准备数据用于转换（例如：AWS Glue DataBrew 和 Amazon SageMaker 融通式合作开发工作室）。
技能 3.1.7： 查询数据（例如：Amazon Athena）。
技能 3.1.8： 使用 AWS Lambda 自动处理数据。
技能 3.1.9： 管理事件和调度器（例如：Amazon EventBridge）。
任务 3.2： 使用 AWS 服务分析数据
技能 3.2.1： 使用 AWS 服务和工具（例如：DataBrew、Amazon QuickSight）对数据进行可视化。
技能 3.2.2： 验证和清理数据（例如：Lambda、Athena、QuickSight、Jupyter Notebooks、Amazon SageMaker Data Wrangler）。
技能 3.2.3： 在 Amazon Redshift 和 Athena 中使用 SQL 来查询数据或创建视图。
技能 3.2.4： 使用通过 Apache Spark 查找数据的 Athena 笔记本。
技能 3.2.5： 描述预置服务和无服务器服务的利弊权衡。
技能 3.2.6： 定义数据聚合、滚动平均值、分组和透视。
任务 3.3： 维护和监控数据管道
技能 3.3.1： 提取日志用于审计。
技能 3.3.2： 部署日志记录和监控解决方案以便进行审计和追溯。
技能 3.3.3： 在监控期间使用通知发送警报。
技能 3.3.4： 解决性能问题。
技能 3.3.5： 使用 AWS CloudTrail 跟踪 API 调用。
技能 3.3.6： 对管道进行故障排除和维护（例如：AWS Glue、Amazon EMR）。
技能 3.3.7： 使用 Amazon CloudWatch Logs 记录应用程序数据（侧重于配置和自动化）。
技能 3.3.8： 使用 AWS 服务（例如：Athena、Amazon EMR、Amazon OpenSearch Service、CloudWatch Logs Insights、大数据应用程序日志）分析日志。
任务 3.4： 确保数据质量
技能 3.4.1： 在处理数据时，运行数据质量检查（例如：检查空字段）。
技能 3.4.2： 定义数据质量规则（例如：DataBrew）。
技能 3.4.3： 调查数据一致性（例如：DataBrew）。
技能 3.4.4： 描述数据采样技术。
技能 3.4.5： 实施数据偏斜机制。
任务 4.1： 应用身份验证机制
技能 4.1.1： 更新 VPC 安全组。
技能 4.1.2： 创建和更新 IAM 组、角色、终端节点及服务。
技能 4.1.3： 创建和轮换凭证来管理密码（例如，AWS Secrets Manager）。
技能 4.1.4： 设置 IAM 角色来进行访问（例如，AWS Lambda、Amazon API Gateway、AWS CLI、AWS CloudFormation）。
技能 4.1.5： 将 IAM 策略应用于角色、终端节点和服务（例如，S3 接入点、AWS PrivateLink）。
技能 4.1.6： 描述托管服务和非托管服务之间的差异。
技能 4.1.7： 为 SageMaker 融通式合作开发工作室使用域、域单位和项目。
任务 4.2： 应用授权机制
技能 4.2.1： 在托管策略不满足需求时创建自定义 IAM 策略。
技能 4.2.2： 存储应用程序和数据库凭证（例如，Secrets Manager、AWS Systems Manager Parameter Store）。
技能 4.2.3： 在数据库中为数据库用户、组和角色提供访问权限和授权（例如，对于 Amazon Redshift）。
技能 4.2.4： 通过 AWS Lake Formation 管理权限（用于 Amazon Redshift、Amazon EMR、Amazon Athena 和 Amazon S3）。
技能 4.2.5： 应用能够满足业务需求的授权方法（基于角色、基于标签和基于属性）。
技能 4.2.6： 构建符合最低权限原则的自定义策略。
任务 4.3： 确保对数据进行加密和掩蔽
技能 4.3.1： 根据合规法律或公司策略应用数据掩蔽和匿名化措施。
技能 4.3.2： 使用加密密钥来加密或解密数据（例如 AWS KMS）。
技能 4.3.3： 跨 AWS 账户边界配置加密。
技能 4.3.4： 对传输中数据或在传输数据之前启用加密。
任务 4.4： 准备日志用于审计
技能 4.4.1： 使用 AWS CloudTrail 跟踪 API 调用。
技能 4.4.2： 使用 Amazon CloudWatch Logs 存储应用程序日志。
技能 4.4.3： 使用 AWS CloudTrail Lake 进行集中式日志记录查询。
技能 4.4.4： 使用 AWS 服务（例如，Athena、CloudWatch Logs Insights、Amazon OpenSearch Service）分析日志。
技能 4.4.5： 集成各种 AWS 服务来执行日志记录（例如，在具有大量日志数据时集成 Amazon EMR）。
任务 4.5： 了解数据隐私和监管
技能 4.5.1： 授予数据共享权限（例如，Amazon Redshift 数据共享）。
技能 4.5.2： 实施 PII 识别（例如，将 Amazon Macie 与 Lake Formation 一起使用）。
技能 4.5.3： 实施数据隐私策略来防止将数据备份或复制到不允许的 AWS 区域。
技能 4.5.4： 查看账户中发生的配置更改（例如 AWS Config）。
技能 4.5.5： 维护数据主权。
技能 4.5.6： 通过 Amazon SageMaker Catalog 项目管理数据访问权限。
技能 4.5.7： 描述监管数据框架和数据共享模式。