Amazon Kinesis Data Analytics for Apache - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Analytics for Apache

本节向你介绍使用 Python 和 Table API 的 Apache Flink 版 Kinesis Data Analytics 的基本概念。它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

Pyflink 入门——适用于 Apache 的 Python 解释器 | Amazon Web Services

在开始之前,我们建议您观看以下视频:

适用于 Flink 应用程序的 Kinesis Data Analytics 组件

为了处理数据,您的 Kinesis Data Analytics 应用程序使用 Python 应用程序,该应用程序使用 Apache Flink 运行时处理输入并生成输出。

Kinesis Data Analytics 应用程序具有以下组件:

  • 运行时属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。

  • 表源:应用程序使用源来消耗数据。连接器从 Kinesis 数据流、亚马逊 MSK 主题或类似主题读取数据。有关更多信息,请参阅表 API 源代码

  • 函数:应用程序使用一个或多个函数处理数据。函数可以转换、丰富或聚合数据。

  • S@@ ink:应用程序使用接收器向外部源生成数据。接收器连接器将数据写入 Kinesis 数据流、Kinesis Data Firehose 传输流、亚马逊 MSK 主题、Amazon S3 存储桶等。有关更多信息,请参阅表 API 接收器

在创建和打包应用程序代码时,您将代码包上载到 Amazon S3 存储桶。然后,您将创建一个 Kinesis Data Analytics 应用程序。您传入代码包位置、流数据源,通常是接收应用程序处理数据的流媒体或文件位置。

先决条件

在开始本教程之前,请完成前两个步骤Amazon Kinesis for Apache Flink (DataStream API)

要了解其用法,请参阅 创建应用程序