AWS：OMG！你不会还在自己运维开源大数据框架吧

小提示：您能找到这篇{AWS：OMG！你不会还在自己运维开源大数据框架吧}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的AWS：OMG！你不会还在自己运维开源大数据框架吧内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

< ">许多企业都在采用开源的大数据分析框架在本地或者云上自行运维和管理，然而他们也面临着运营效率和成本问题。通过迁移到Amazon Web Services(AWS)上完全管理的服务，企业可以节省时间、成本并提高生产率，将更多的时间与精力投入到创新和构建新的应用程序当中。

< ">接下来就让我们一起了解一下如何迁移到AWS托管的大数据服务吧！

案例应用

Verizon Media Group如何从本地Apache Hadoop与Spark迁移至Amazon EMR

< ">Verizon Media Group（VMG）

< ">Verizon Media在本质上属于一家在线广告企业。目前，大多数在线广告主要通过展示广告（亦称「横幅广告」或「视频广告」）形式实现。无论具体采取哪种方式，所有互联网广告都需要发送各种信标以实现服务器跟踪。这些服务器主要为具备高度可扩展性的Web服务器部署，负责将接收到的信标记录至一个或者多个事件接收器当中。

Amazon EMR是一套托管集群平台，能够简化各类大数据框架（例如Apache Hadoop与Apache Spark）的运行流程。

< ">Verizon Media Group（VMG）面临的一大主要问题，就是无法在理想的时间之内完成计算容量扩展——硬件采购通常需要几个月才能落实到位。这就意味着无法让硬件的扩展与升级与工作负载变化匹配起来，这不仅造成了巨大的资金浪费，同时也给冗余管理软件的升级流程带来大量停机时间，进而极大提升运营风险。

< ">VMG通过使用Apache Hadoop以及Apache Spark等技术方案运行数据处理管道。VGM之前曾经使用过Cloudera Manager进行集群管理，但其发布周期过慢，跟不上技术发展与业务需求的变化。结果就是，VGM只能使用较为陈旧的开源版本，导致无法充分使用Apache项目上的最新bug修复与性能改进成果。出于以上原因，再加上VGM对AWS的现有投资，最终他们决定尝试将分布式计算管道迁移至Amazon EMR当中。

完全托管、高度可用且安全的

Apache Kafka服务

Amazon Managed Streaming for Apache Kafka

(Amazon MSK)迎来通用版本

< ">Apache Kafka(Kafka)是一套开源平台，能够帮助客户捕捉流式数据，例如单击流事件、事务、物联网事件、应用程序与机器日志等，且能够执行实时分析、运行连续转换、并将数据实时分发至各数据湖与数据库当中。

Amazon MSK是完全托管服务，可让您轻松构建并运行使用Apache Kafka的应用程序来处理流数据。

< ">Kafka本身已经成为一套流行的企业级数据流与消息传递框架，但其在生产环境中的设置、扩展与管理仍然较为困难。Amazon MSK能够帮助我们执行这些管理任务，并结合高可用性与安全性监管要求通过最佳实践将Kafka轻松与Apache ZooKeeper配合起来，共同进行置备与配置。

用例分析

通往托管之路：Amazon Elasticsearch Service

< ">Amazon Elasticsearch Service(Amazon ES)是一项完全托管的服务，方便您大规模经济高效地部署、保护和运行Elasticsearch。

< ">技术团队的最大意义，在于专注于完成真正重要的创新工作，打造出能够为企业带来差异化竞争优势的产品及服务。在这方面，Amazon ES无疑是一款必不可少的工具，能够为您的搜索与分析基础设施带来强大的运营稳定性、安全性与性能支持。面对Amazon ES带来的以下收益，大家还有什么理由不踏上迁移之旅呢？

< ">1、支持搜索、日志分析、SIEM以及其他多种工作负载。

< ">2、使用UltraWarm的创新功能管理运营成本。

< ">3、提供可满足PCI及HIPAA工作负载实际要求的高安全性环境。

< ">4、能够将运营流程移交给经验丰富的服务商，由他们负责管理Elasticsearch的大规模运行。

< ">5、提供免费插件，借此实现细粒度访问控制、基于矢量的相似性算法以及基于事件自动响应的警报与监控功能。

< ">在起步阶段，大家可以尝试将Amazon品牌营销的策划 ES与AWS Free Tier配合使用。该免费层每月提供最多750个小时的t2.small.elasticsearch实例免费使用时长，且每月提供10 GB的EBS存储（磁盘或通用）。

服务简介

Amazon Kinesis Data Analytics

无服务器流式数据处理服务

< ">Amazon Kinesis流式数据处理服务凭借强大的实时处理功能、无需预置或管理任何基础设施、按实际用量付费这些特点，可以帮助企业快速构建流式数据处理、分析平台，获得对企业业务运营的洞察，并帮助企业实时响应业务和客户的需求，加速企业的数字化转型。

< ">流处理技术源于企业的实际需求，这些企业经历了数据量、数据产生速度和数据种类的巨大增长，并且迫切需要快速摄取和评估这些数据来进行业务决策。

< ">与传统系统的批处理模式（“静态数据”）相比，处理和分析“运动”中数据的能力已是企业间的关键差异因素之一。尤其在企业进行数字化转型的今天，企业迫切需要对当下正在发生的事情进行分析的需求，而不是对昨天或上个月发生的事情进行分析。因此流式数据对企业越来越重要，因为它能让企业具有竞争优势。事件发生后，当下的见解会立即变得有价值，随着时间的流逝其价值会迅速下降。

< ">从物联网、金融、网络安全到零售，实时旅游业公关危机处理策略有分析、行动能力已经成为多个领域SLA的关键要素，企业正在将流式数据与数据处理引擎和框架结合在一起来创建流数据应用程序。这类名词有很多，实时分析、流分析、复杂事件处理（CEP）、实时流分析和事件处理等。