Kinesis Data Analytics for Apache Flin - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Kinesis Data Analytics for Apache Flin

本主题包含有关创建Amazon Kinesis Data Analytics for Apache Flink 的信息,

构建 Kinesis Data Analytics 应用程序代码

本节介绍用于为 Kinesis Data Analytics 应用程序构建应用程序代码的组件。

我们建议您将支持的最新 Apache Flink 版本用于应用程序代码。Kinesis Data Analytics 支持的最新版本的 Apache Flink 是 1.15.2。有关升级 Kinesis Data Analytics 应用程序的信息,请参阅升级应用程序

您可以使用 Apache Maven 构建应用程序代码。Apache Maven 项目使用 pom.xml 文件以指定它使用的组件的版本。

注意

Kinesis Data Analytics 支持大小不超过 512 MB 的 JAR 文件。如果使用的 JAR 文件超过该大小,应用程序将无法启动。

将以下组件版本用于 Kinesis Data Analytics 应用程序:

组件 版本
Java 11(推荐)
Scala 2.12
适用于 Flink 运行时的 Kinesis Data Analytics (aws-kinesisanalytics-runtime) 1.2.0
AmazonKinesis 连接器 (flink-connector-kinesis) 1.15.2
Apache Beam(仅限光束应用程序) 2.33.0,Jackson 版本 2.12.2

有关使用 Apache Flink 版本 1.15.2 的 Kinesis Data Analytics 应用程序pom.xml的文件示例,请参阅 Kinesis Data Analytics 入门应用程序。

有关创建使用 Apache Beam Data Analytics 应用程序的信息,请参阅,请参阅,请参阅,请参使用Apache Beam阅,请参

使用适用于 Flink Runtime 版本 1.1.0 及更高版本的 Kinesis Data Analytics 时,您需要指定应用程序在编译应用程序时使用的 Apache Flink 版本。您可以使用 -Dflink.version 参数提供 Apache Flink 版本,如下所示:

mvn package -Dflink.version=1.15.3

有关使用旧版本的 Apache Flink 构建应用程序的信息,请参阅较早的版本

创建您的 Kinesis Data Analytics

生成应用程序代码后,您可以执行以下操作来创建 Kinesis Data Analytics 应用程序:

  • 上传您的应用程序代码:将您的应用程序代码上传到 Amazon S3 存储桶,将您的应用程序上传到 Amazon S3 在创建应用程序时,您可以指定应用程序代码的 S3 存储桶名称和对象名称。有关说明如何上传应用程序代码的教程,请参阅入门指南 (DataStream API)教程中的上传 Apache Flink 流式处理 Java 代码

  • 创建您的 Kinesis Data Analytics 应用程序:使用以下方法之一创建 Kinesis Data Analytics 应用程序:

    • 使用Amazon控制台创建 Kinesis Data Analytics 应用程序:您可以使用Amazon控制台创建和配置应用程序。

      当您使用控制台创建应用程序时,将为您创建应用程序的依赖资源(例如 CloudWatch 日志流、IAM 角色和 IAM 策略)。

      在使用控制台创建应用程序时,您可以从 Kinesis Analytics - Create application (Kinesis Analytics - 创建应用程序) 页面上的下拉列表中进行选择,以指定应用程序使用的 Apache Flink 版本。

      有关如何使用控制台创建应用程序的教程,请参阅入门指南 (DataStream API)教程中的创建并运行应用程序(控制台)

    • 使用Amazon CLI 创建 Kinesis Data Analytics 应用程序:您可以使用Amazon CLI 创建和配置您的应用程序。

      使用 CLI 创建应用程序时,还必须手动创建应用程序的依赖资源(例如 CloudWatch 日志流、IAM 角色和 IAM 策略)。

      在使用 CLI 创建应用程序时,您可以使用 CreateApplication 操作的 RuntimeEnvironment 参数指定应用程序使用的 Apache Flink 版本。

      有关如何使用 CLI 创建应用程序的教程,请参阅入门指南 (DataStream API)教程中的创建并运行应用程序 (Amazon CLI)

    注意

    您无法更改现有应用程序的 RuntimeEnvironment。如果您需要更改现有应用程序的 RuntimeEnvironment,则必须删除该应用程序并重新创建。

启动 Kinesis Data Analytics

在构建应用程序代码、将其上传到 S3 并创建 Kinesis Data Analytics 应用程序后,即可启动应用程序。启动 Kinesis Data Analytics 通常需要需要需要需要需要几需要需要几

可以使用以下方法之一以启动应用程序:

  • 使用Amazon控制台启动 Kinesis Data Analytics 应用程序:您可以通过在控制Amazon台的应用程序页面上选择 “运行” 来运行应用程序。

  • 使用Amazon API 启动您的 Kinesis Data Analytics 应用程序:您可以使用StartApplication操作运行应用程序。

正在验证您的 Kinesis Data Analytics

您可以通过以下方式验证应用程序是否正常工作:

  • 使用 CloudWatch 日志:您可以使用 CloudWatch Logs 和 L CloudWatch ogs Insights 来验证您的应用程序是否正常运行。有关在 Kinesis Dat CloudWatch a Analytics 应用程序的信息,请参阅,请参阅,请参阅,请参日志记录和监控阅,

  • 使用 CloudWatch 指标:您可以使用 CloudWatch 指标监控应用程序的活动或应用程序用于输入或输出的资源(例如 Kinesis 流、Kinesis Data Firehose 传输流或 Amazon S3 存储桶)中的活动。有关 CloudWatch 指标的更多信息,请参阅亚马逊 CloudWatch 用户指南中的使用指标

  • 监控输出位置:如果您的应用程序将输出写入某个位置(例如 Amazon S3 存储桶或数据库),则可以监控该位置以获取写入数据。