Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版

时间:2021-07-15 | 标签: | 作者:Q8 | 来源:AWS Team网络

小提示:您能找到这篇{Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您!

< ">AWS客户对于流式数据的使用方式,一直令我钦佩而惊讶。以全球最受企业及专业人士依赖的新闻机构之一Thomson Reuters(路透社)为例,他们构建起一套解决方案,用于对数据进行捕捉、分析与可视化,借此帮助产品团队不断改善用户体验。而先后推出《卡通农场》、《部落冲突》以及《海岛奇兵》等游戏大作的社交游戏厂商Supercell则着眼于游戏内实时数据,日均处理多达450亿个事件。

< ">自从在re:Inent 2013大会上正式推出Amazon Kiensis以来,我们一直在不断扩展客户在AWS上处理流式数据的方式。目前提供的相关工具包括:

< ">Kinesis Data Streams,用于配合用户自己的应用程序捕捉、存储及处理数据流。

< ">Kinesis Data Firehos数字化营销都有哪些e,用于将数据转换并收集至指定的目的地,例如Amazon S3、Amazon Elasticsear宣传片昆明ch Service以及Amazon Redshift。

< ">Kinesis Data Analytics,使用SQL或Java(通过Apache Flink应用程序)持续分析数据,借此实现异常检测或时间序列聚合等目标。

< ">Kinesis Video Streams,用于简化媒体流的处理工作。

< ">在re:Invent 2018大会上,我们又发布了Amazon Managed Streaming for Apache Kafka(MSK)的开放预览版,这项全托管服务能够帮助用户轻松构建并运行起各类由Apache Kafka负责流式数据处理的应用程序。

< ">现在,我们兴奋地宣布,Amazon MSK终于迎来其通用版本!

< ">< font-size: 18px;">如何运作

< ">Apache Kafka(Kafka)是一套开源平台,能够帮助客户捕捉流式数据,例如单击流事件、事务、物联网事件、应用程序与机器日志等,且能够执行实时分析、运行连续转换、并将数据实时分发至各数据湖与数据库当中。大家可以使用Kafka作为流式数据存储方案,将生产流式数据的应用程序(生产程序)与消费这些流式数据的应用程序(消费程序)剥离开来。

< ">Kafka本身已经成为一套流行的企业级数据流与消息传递框架,但其在生产环境中的设置、扩展与管理仍然较为困难。Amazkn MSK能够帮助我们执行这些管理任务,并结合高可用性与安全性监管要求通过最佳实践将Kafka轻松与Apache ZooKeeper配合起来,共同进行置备与配置。

< ">您的MSK集群将始终运行在由MSK服务托管的Amazon VPC当中。通过弹性网络接口(ENI),您的MSK资源将可供各指定的VPC、子网以及安全组使用,具体如下图所示:

< ">客户能够在几分钟之内创建集群,使用AWS身份与访问管理(AWS Identity and Access Management,简称IAM)控制集群操作,使用由AWS Certificate Manager(ACM)全面托管的TLS私有证书颁发机构进行客户端授权,使用TLS加密传输数据,并使用AWS Key Management Service(KMS)密钥实现静态数据加密。

< ">Amazon MSK能够持续监控服务器运行状况,并在服务器出现故障时自动更换服务器、自动执行服务器修复,并将高可用性ZooKeeper节点纳入服务运营体系、且无需支付任何额外费用。Kafka的各项关键性能指标则发布在控制台与Amazon CloudWatch当中。Amazon MSK与Kafka 1.1.1及2.1.0版本完全兼容,因此大家无需更改任何代码,即可使用Kafka管理员工具及其他Kafka兼容型工具及框架保持应用程序的正常运行。

< ">根据客户们对于开放预览版提出的反馈,我们在Amazon MSK的通用版本中添加了以下功能:

< ">在客户端与代理间,以及在各代理间通过TLS实现传输数据加密。

< ">使用ACM私有证书颁发机构进行TLS双向验证。

< ">支持Kafka 2.1.0版本。

< ">99.9%可用性SLA。

< ">符合HIPAA要求。

< ">集群范围存储纵向拓展。

< ">与AWS CloudTrail for MSK API的日志记录功能相集成。

< ">集群标记以及基于标记的IAM策略应用。

< ">为主题与代理定制集群范围内配置。

< ">AWS CloudFormation支持功能也将在未来几周内上线。

< ">< font-size: 18px;">创建集群

< ">< font-size: 18px;">

< ">下面,我们使用AWS管理控制台创建一个集群。在这里需要为集群命名,选择集群运行所在的VPC以及Kafka版本。

< ">接下来,我们选择可用区(AZ)以及VPC中所使用的子网。在下一步中,我们需要选择在每个可用区内部署多少个Kafka代理。代理越多,我们就能为其分配更多分区,从而扩展集群的总体吞吐量。

< ">我们还可以添加标签来搜索并过滤现有资源,在A帖子mazon MSK API中应用IAM策略,并实时跟踪资源使用成本。在存储方面,这里直接使用各个代理的默认存储卷大小。

< ">我们选择在集群内使用加密,并允许客户端与代理之间进行TLS与明文通信。对于静态数据,我们使用AWS管理的客户主密钥(CMK)实现加密;当然,大家可以使用KMS在账户内选定一个CMK以实现进一步控制。如果必要,大家也可以使用私有TLS证书对接入集群的客户端进行身份验证。但这项功能需要使用ACM的私有证书颁发机构(CA),在本文的示例中就不使用此选项了。

< ">在高级设置中,我们保留默认值。例如,我们可以在这里为代理选择其他实例类型。其中某些设置可以通过AWS CLI进行更新。

< ">我们需要监控所创建集群的运行状态,例如在通过CLI或SDK进行交互时需要使用的Amazon资源名称(ARN)。

< ">当状态显示为active时,客户端信息部分将显示用于接入目标集群的更多详细内容,例如:



< ">可配合Kafka工具接入集群的各引导服务器。

< ">Zookeeper的主机与端口连接清单。

< ">我们可以使用AWS CLI获取相关信息:

< ">< color: rgb(192, 0, 0); background-color: rgb(242, 242, 242);">aws kafka list-clusters,用于查看特定区域内集群的ARN。

< ">< color: rgb(192, 0, 0); background-color: rgb(242, 242, 242);">aws kafka get-bootstrap-brokers--cluster-arn<ClusterArn>,用于获取Kafka引导服务器。

< ">< color: rgb(192, 0, 0); background-color: rgb(242, 242, 242);">aws kafka describe-cluster--cluster-arn<ClusterArn>,用于查看关于集群的更多详细信息,包括ZooKeeper连接字符串。

< ">< font-size: 18px;">Kafka快速使用演示

< ">要开始使用Kafka,我们在同一VPC中创建两个EC2实例,其一为生产实例,其二为消费实例。要将它们设置为客户端设备,我们可以从Apache网站或者其他镜像中下载并提取Kafka工具。Kafka需要配合Java 8才能正常运行,因此这里我们安装Amazon Corretto 8。

< ">在生产实例上的Kafka目录中,我们创建一个主题,用于将数据从生产实例发送至消费实例:

bin/kafka-topics.sh--create--zookeeper<ZookeeperConnectString>

--replication-factor 3--partitions 1--topic MyTopic

< ">接下来,我们启动一个基于控制台的生产程序:

bin/kafka-console-producer.sh--broker-list<BootstrapBrokerString>

--topic MyTopic

< ">在消费实例上的Kafka目录中,启动一个基于控制台的消费程序:

bin/kafka-console-consumer.sh--bootstrap-server<BootstrapBrokerString>

--topic MyTopic--from-beginning

< ">这就是我们的快速演示流程,我们首先创建主题、而后将消息从生产程序(图上)发送至该主题的消费程序(图下):

< ">< font-size: 18px;">计费标准与可用区域

< ">计费以每Kafka代理-小时与每预配置存储-小时为单位。集群中使用的ZooKeeper节点不会带来任何费用。AWS数据传输费率也适用于出入MSK集群的数据。大家无需为区域内各集群之间的数据传输付费,其中包括代理间的数据传输以及代理与ZooKeeper节点之间的数据传输。

< ">大家可以使用MirrorMaker(开源Kafka随附)等工具将现有Kafka集群迁移至MSK,并借此将集群中的数据复制至MSK集群当中。



< ">Amazon MSK一直以良好的上游兼容性作为核心宗旨。我们对Kafka平台做出的代码变更,皆已发布回开源项目本体。

< ">Amazon MSK目前在美国东部(北弗吉尼亚州)、美国东部(俄亥俄州)、美国西部(俄勒冈州)、亚太地区(东京)、亚太地区(新加坡)、亚太地区(悉尼)、欧盟(法兰克福)、欧盟(爱尔兰)、欧盟(巴黎)以及欧盟(伦敦)等区域正式上线。

< ">期待Amazon MSK,能够切实帮助大家简化流式应用程序的构建与云迁移工作!



< font-size: 14px; color: rgb(127, 127, 127);">Original URL:https://amazonaws-china.com/cn/blogs/aws/amazon-managed-streaming-for-apache-kafka-msk-now-generally-available/

本篇作者

Danilo Poccia

Danilo与不同规模的初创公司及企业合作,致力于支持各类创新活动。在担任Amazon Web Services公司首席布道师(欧洲、非洲与中东地区)期间,他运用自己的丰富经验帮助客户将想法转变为现实,专注于无服务器架构与事件驱动型编程,同时也积极关注机器学习与边缘计算对于技术及业务的影响。他还著有《AWS Lambda in Action from Manning》。

Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版

上一篇:如何使用Apache Spark与Amazon EMR改善FRTB的内部模型方
下一篇:没有电商经验如何入驻Shopee?


版权声明:以上主题为“Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版"的内容可能是本站网友自行发布,或者来至于网络。如有侵权欢迎联系我们客服QQ处理,谢谢。
相关内容
推荐内容
扫码咨询
    Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版
    打开微信扫码或长按识别二维码

小提示:您应该对本页介绍的“Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通Amazon Managed Streaming for Apache Kafka (MSK) 迎来通用版的相关事宜。

关键词:Amazon,Managed,Streaming,for,A

关于 | 业务 | 案例 | 免责 | 隐私
客服邮箱:sales@1330.com.cn
电话:400-021-1330 | 客服QQ:865612759
沪ICP备12034177号 | 沪公网安备31010702002418号