时间:2023-01-19 | 标签: | 作者:Q8 | 来源:网络
小提示:您能找到这篇{在线教育大数据营销平台实战(一):大数据平}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的在线教育大数据营销平台实战(一):大数据平内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您! |
第一篇文章,按照惯例先做个自我介绍。本人目前在一家在线教育公司担任大数据营销产品负责人,由于一些机缘巧合,我同时负责了数据产品线和营销CRM产品线,因此给了我更多的机会去思考和实践如何把数据与营销业务深入融合,将大数据的势能赋予营销平台,从而实现业务的精细化运营和数据驱动。 接下来,针对在线教育业务场景下的大数据营销平台实战,我会用一个系列的文章进行系统化阐述。文章可能会涉及:大数据平台搭建、用户画像服务体系、CRM线索动态评分模型及分配算法、数据产品实施推广方案、客户数据中台(CDP)等多个方向。 本篇主要来讲解如何从0到1构建在线教育业务场景下的大数据平台。 一、企业数据问题诊断产品是为了满足需求,是否需要构建大数据平台?以及构建什么样的大数据平台?取决于企业的数据化程度和面临的数据问题。因此在构建大数据平台之前,需要进行充分地调研,找准问题才能对症下药。对企业数据化程度的评估方法,可以参考下图所示的数据管理能力成熟度模型(DMM)。 通过前期的调研和分析,我们公司当时处于L2等级,面临的主要数据问题如下: 1)数据源分散
2)数据指标不统一
3)数据分析效率低
4)数据管理问题
二、大数据平台业务架构及Road Map上一部分已经对企业内部数据问题进行了全面诊断和问题剖析,接下来我们针对这些问题给出解决的架构方案和路线图。 1. 数据服务体系蓝图从业务视角给出了如下的数据服务体系蓝图,数据服务体系的规划需要满足三点:数据服务体系需要覆盖完整的公司业务、贯穿业务的各个阶段、伴随企业发展。 在此数据服务体系中,处于核心环节的是数据整体建模和数据资产管理,也就是我们熟悉的统一化数仓建设。结合在线教育业务特点,数仓建设需要满足三个核心数据体系建设:
2. 数据仓库架构数据仓库的层次划分采用业界通用的层级划分方式,包括:ODS、DWD、DWS、ADS层,如下图所示: 1)ODS层
2)CDM层
3)ADS层
3. 数据处理流程架构数据处理流程主要包括源数据同步清洗、数据处理加工、模型运算和数据应用。基于在线在线教育公司的业务特点,源数据主要包括:渠道数据、用户数据、交易数据、营销过程数据、学习数据、外部第三方数据等。 模型引擎包括离线计算引擎和实时计算引擎两类,需要满足算法(或规则)部署、模型训练和上线、以及对其他业务系统提供接口服务的能力,比如为CRM系统提供多算法的线索实时分配、用户画像分层等服务。在数据的汇聚、加工生产、应用的全流程中,全生命周期的数据治理不能忽视,因为数据的准确定、完整性、一致性直接影响业务对数据系统的可信度。 4. 从0~1构建大数据平台的Road Map笔者结合自身在推进大数据平台建设过程中的经验,给出以下路线图供大家参考。 三、数据建模及设计规范1. 数据模型选型及举例维度建模常见的模型有星型模型、雪花模型和星座模型三种,数据仓库设计一般采用星型模型。 星型模型是一种多维的数据关系,它由一个事实表(Fact Table)和一组维表(Dimension Table)许可式电子邮件营销的内容组成。每个维表都有一个维作为主键,所有这些维的主键组合成事实表的主键。事实表的非主键属性称为事实(Fact),它们一般都是数值或其他可以进行计算的数据。 事实表:表示对分析主题所属类型的描述。比如“昨天早上张三在环球网校花费1000元购买了一个一建零基础畅学班课程”。那么以购买为主题进行分析,可从这段信息中提取三个维度:时间维度(昨天早上),地点维度(环球网校), 商品维度(一建零基础畅学班课程)。通常来说维度表信息比较固定,且数据量小。 维度表:表示对分析主题的度量。比如上面那个例子中,1000元就是事实信息。事实表包含了与各维度表相关联的外码,并通过JOIN方式与维度表关联。事实表的度量通常是数值类型,且记会不断增加,表规模迅速增长录数。 2. 数仓表设计规范1)表命名规范 数仓各层表命名规范如下图所示。 2)字段级规范 新增指标的命名参考已有字段命名方式,避免出现同一个字段,10个人有10个命名方法。 字段分类包括:明细,维度,指标,时间,代码,标志位,命名规范如下:
四、大数据平台技术架构及模块简介在大数据平台的建设过程中,笔者和公司大数据架构师共同江门继电器企业网络营销策研究探讨后给出的技术架构如下图所示。 1)安全模块 作为数据平台来讲,保障数据安全始终是第一要素。 安全体系的建立主要包含以下几个方面:
2)监控模块 数据安全之外,服务的稳定性算是平台的第二级指标。好的监控体系可以帮助预测风险定位问题。例如:
3)存储模块 存储模块属于基础组件模块,主要采用hadoop生态系统的相关组件。面向不同的应用场景选择一种组件,例如:
4)计算模块 Yarn做统一资源管理,Spark或者Flink都可以作为统一流、批处理框架。或者阶段性允许两者并存。 5)管理模块 数据治理: 数仓管理数据的主要平台,包括:
任务管理: 离线任务管理、调度:
流式任务管理: 流式任务发布、监控、重启等操作 五、写在最后致此,在线教育大数据营销平台实践第一篇文章已经结束,下篇文章笔者会阐述在大数据平台建设的初期,如何将数据仓库和神策分析系统(sa)相结合来快速满足运营人员对数据分析的需求,开启数据化运营战略落地的序幕。
本文由 @Tigerhu 于,未经作者许可,。 ,基于CC0协议。 |
上一篇:数仓避坑-整明白懂粒度
下一篇:数据分析师的日常工作是什么?
小提示:您应该对本页介绍的“在线教育大数据营销平台实战(一):大数据平”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通在线教育大数据营销平台实战(一):大数据平的相关事宜。
关键词:3年, 中级, 大数据平台,