使用 AP DataStream I 在 Apache Flink 的 Kinesis Data Analytics 中使用连接器移动数据 - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 AP DataStream I 在 Apache Flink 的 Kinesis Data Analytics 中使用连接器移动数据

在适用于 Apache Flink DataStream API 的 Amazon Kinesis Data Analytics 中,连接器是将数据移入和移出 Kinesis 数据分析应用程序的软件组件。连接器是灵活集成的组件,以使您能够读取文件和目录。连接器由用于与亚马逊服务和第三方系统交互的完整模块组成。

连接器类型包括:

  • :从 Kinesis 数据流、文件或其他数据源向应用程序提供数据。

  • 接收器:将数据从您的应用程序发送到 Kinesis 数据流、Kinesis Data Firehose 传输流或其他数据目的地。

  • 异步 I/O:提供对数据源(例如数据库)的异步访问以丰富流事件。

可用的连接器

Apache Flink 框架包含用于从各种源中访问数据的连接器。有关 Apache Flink 框架中可用的连接器的信息,请参阅 Apache Flink 文档中的连接器

警告

如果您在 Flink 1.6、1.8、1.11 或 1.13 上运行应用程序,并且想要在中东(阿联酋)或亚太地区(雅加达)地区运行,则可能需要使用更新的连接器重建应用程序存档或升级到 Flink 1.15。以下是推荐的指导方针:

连接器升级
Flink 版本 使用的连接器 解析
1.6-1.13 Firehose

您的应用程序依赖于 Firehose 连接器的过时版本,该版本不知道更新的Amazon区域。Powe 连接器连接器版本 2.

v2.1.0

1.8 Kinesis

您的应用程序依赖于 Flink Kinesis 连接器的过时版本,该版本不知道更新的Amazon区域。使用 Flink Kinesis 连接器版本 1.6.1 重建您的应用程序存档。

https://github.com/awslabs/amazon-kinesis-connector-flink /tree/1.6.1

1.11 Kinesis

您的应用程序依赖于 Flink Kinesis 连接器的过时版本,该版本不知道更新的Amazon区域。使用Flink 连接器连接器版本 2。

https://github.com/awslabs/amazon-kinesis-connector-flink /tree/2.4.1

1.6 和 1.13 Kinesis

您的应用程序依赖于 Flink Kinesis 连接器的过时版本,该版本不知道更新的Amazon区域。不幸的是,Flink 不再发布 1.6/1.13 连接器的补丁或错误修复。我们建议通过使用 Flink 1.15 重建应用程序存档来更新到 Flink 1.15。