新增 – Amazon Elastic Kubernetes Service (EKS) 上的 Ama

小提示：您能找到这篇{新增 – Amazon Elastic Kubernetes Service (EKS) 上的 Ama}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的新增 – Amazon Elastic Kubernetes Service (EKS) 上的 Ama内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

< ">数以万计的客户使用Amazon EMR在Apache Spark、Hive、HB网络营销 方式ase、Flink、Hudi和Presto之类的框架上大规模运行大数据分析应用程序。EMR可自动预置和扩展这些框架，并通过各种EC2实例类型优化性能，以满足价格和性能要求。客户现在正在使用Kubernetes跨组织整合计算池。一些在Amazon Elastic Kubernetes Service(EKS)上自行管理Apache Spark的客户想要使用EMR消除安装和管理其框架以及与AWS服务集成的繁重工作。此外，他们希望利用EMR提供的更快的运行时以及开发和调试工具。

< ">今天，我们宣布正式推出Amazon EKS上的Amazon EMR，这是EMR中的一项新部署选项，可让客户在EKS上自动预置和管理开源大数据框架。借助EKS上的EMR，客户现在可以在同一EKS集群上与其他类型的应用程序一起运行Spark应用程序，以提高资源利用率并简化基础设施管理。

< ">客户可以将EMR应用程序与其他类型的应用程序部署在同一个EKS集群上，这样他们就可以在单个解决方案上共享资源并实现标准化，以便操作和管理所有应用程序。客户可以在EKS上获取他们现在在EC2上使用的所有相同的EMR功能，例如访问最新的框架、性能优化运行时、用于应用程序开发的EMR Notebooks以及用于调试的Spark用户界面。

< ">Amazon EMR自动将应用程序打包到具有大数据框架的容器中，并提供用Lewis于与其他AWS服务集成的预构建连接器。然后，EMR在EKS集群上部署应用程序并管理日志记录和监控。使用EKS上的EMR，与EKS上的标准Apache Spark相比，使用EMR中包含的性能优化Spark运行时，您可以将性能速度提高3倍。

< ">EKS上的Amazon EMR–入门

< ">如果您已经拥有运行Spark作业的EKS集群，只需使用AWS管理控制台、AWS命令行界面(CLI)或API来部署您的Spark应用程序，即可用EMR注册您的现有EKS集群。

< ">例如，下面这个简单的CLI命令可用来注册您的EKS集群。

$ aws emr create-virtual-cluster

          --name <virtual_cluster_name>

          --container-provider '{

             "id": "<eks_cluster_name>",

             "type": "EKS",

             "info": {

                 "eksInfo": {

                     "namespace": "<namespace_name>"

                 }

             } 

         }'

< ">在EMR管理控制台中，您可以在虚拟集群列表中看到它。

< ">注册Amazon EKS集群后，EMR工作负载将部署到Kubernates节点和Pod以管理应用程序执行和自动扩展，并设置托管终端节点，以便您可以连接笔记本和SQL客户端。EMR为分析应用程序中使用的开源框架构建和部署性能优化的运行时。

< ">您只需启动您的Spark作业。

$ aws emr start-job-run

          --name <job_name>

          --virtual-cluster-id <cluster_id>

          --execution-role-arn <IAM_role_arn>

          --virtual-cluster-id <cluster_id>

          --release-label <<emr_release_label>

          --job-driver '{

            "sparkSubmitJobDriver": {

              "entryPoint": <entry_point_location>,

       瑞幸危机公关策划书       "entryPointArguments": ["<arguments_list>"],

              "sparkSubmitParameters": <spark_parameters>

            }

       }'

< ">要监控和调试作业，您可以使用上传到您的Amazon CloudWatch和Amazon Simple Storage Service(S3)位置的检查日志，这些位置在监控配置中进行配置。您还可以使用控制台中的一键式体验启动Spark历史记录服务器。

< ">与Amazon EMR Studio集成

< ">现在，您可以使用AWS开发工具包和AWS CLI、Amazon EMR Studio笔记本以及Apache Airflow之类的工作流编排服务提交分析应用程序。我们已经为EKS上的Amazon EMR开发了一个新的Airflow Operator。您可以将此连接器与自行管理的Airflow结合使用，也可以使用适用于Apache Airflow的Amazon托管工作流将其添加到插件位置。

< ">您还可以使用新预览的Amazon EMR Studio在基于Web的集成开发环境(IDE)中执行数据分析和数据工程任务。借助Amazon EMR Studio，您可以使用Studio界面向部署在EKS上的EMR集群提交笔记本代码。在设置了Studio用户可以将工作区附加到的一个或多个托管终端节点之后，EMR Studio可以与虚拟集群进行通信。

< ">对于EMR Studio预览版，为虚拟集群创建托管终端节点时不会产生额外费用。要了解更多信息，请访问博客文章和指南文档。

现已推出

< ">Amazon EKS上的Amazon EMR现已在美国东部（弗吉尼亚北部）、美国西部（俄勒冈）和欧洲（爱尔兰）区域推出。您可以在适用于EKS的AWS Fargate中运行EMR工作负载，从而不再需要为Pod预置和管理基础设施作为无服务器选项。