以上无论是在业务SQL使用上统一还是计算引擎上的统一,都是批流一体的一个方面,除此之外,批流一体还有一个最核心的方面就是存储层面上的统一 。数据湖技术可以实现将批数据和实时数据统一存储,统一处理计算 。我们可以将离线数仓中的数仓和实时数仓中的数仓数据存储统一合并到数据湖上,可以将Kappa架构中的数仓分层Kafka存储替换成数据湖技术存储,这样做到“湖仓一体”的构建 。
“湖仓一体”架构构建也是目前各大公司针对离线场景和实时场景统一处理计算的方式 。例如:一些大型公司使用Iceberg作为存储,那么Kappa架构中很多问题都可以得到解决,Kappa架构将变成个如下模样:
这条架构中无论是流处理还是批处理,数据存储都统一到数据湖Iceberg上,这一套结构将存储统一后,解决了Kappa架构很多痛点,解决方面如下:
可以解决Kafka存储数据量少的问题 。目前所有数据湖基本思路都是基于HDFS之上实现的一个文件管理系统,所以数据体量可以很大 。DW层数据依然可以支持OLAP查询 。同样数据湖基于HDFS之上实现,只需要当前的OLAP查询引擎做一些适配就可以进行OLAP查询 。批流存储都基于Iceberg/HDFS存储之后,就完全可以复用一套相同的数据血缘、数据质量管理体系 。实时数据的更新 。上述架构也可以认为是Kappa架构的变种,也有两条数据链路,一条是基于Spark的离线数据链路,一条是基于Flink的实时数据链路,通常数据都是直接走实时链路处理,而离线链路则更多的应用于数据修正等非常规场景 。这样的架构要成为一个可以落地的实时数仓方案、可以做到实时报表产生 。
2、项目架构及数据分层此项目中我们使用的数据湖技术是Iceberg构建“湖仓一体”架构来实时和离线分析电商业务指标 。项目整体架构图如下图所示:
项目中的数据来源有两类,一是MySQL业务库数据,另一类是用户日志数据,我们通过对应的方式将两类数据首先采集到Kafka各自topic中,通过Flink处理将业务和日志数据存储在Iceberg-ODS层中,由于目前Flink基于Iceberg处理实时数据不能很好保存数据消费位置信息,所以这里同时将数据存储在Kafka中,利用Flink消费Kafka数据自动维护offset的特性来保证程序停止重启后消费数据的正确性 。
整个架构是基于Iceberg构建数据仓库分层,经过Kafka处理数据都实时存储在对应的Iceberg分层中,实时数据结果经过最后分析存储在Clickhouse中,离线数据分析结果直接从Iceberg-DWS层中获取数据分析,分析结果存入MySQL中,Iceberg其它层供临时性业务分析,最终Clickhouse和MySQL中的结果通过可视化工具展示出来 。
3、项目可视化效果如何写出估值千万的商业计划书(四):怎样写好项目定位与愿景3今天我们来交流一下商业计划书的项目定位与愿景,
想要了解商业计划书的整体结构的朋友,可以点击我的文章:创业成功的关键起源,是一篇好的商业计划书(一)
想要了解更多关于怎么制作商业计划书知识的朋友,可以“点击关注”
想要了解商业计划书中前一章节项目背景怎么写的朋友,可以点击我的文章:如何写出估值千万的商业计划书(二):项目背景决定市场有多大 和 如何写出估值千万的商业计划书(三):怎样写好核心价值
一、项目定位
项目定位的核心内容是面向哪个群体的用户,以及此类用户有什么样的共同特征,这些群体最好和其他用户群体有着明显的差异 。我们不用担心用户群体是不是足够大,因为在我国任何一个小众群体,都有大量的用户基数;其实一个商业模式中最该担心的是面向所有用户,因为这样的情况下,根本无法找出明显的价值点,连市场调研的方向也会非常模糊,更严重的是项目核心产品或服务由于无法聚焦导致不够锋利,为了满足所有人的需求,往往意味着大量功能的妥协 。如果项目真的是可以面向所有用户的,也需要针对不同的用户群体,细分为子项目进行分析研究 。
下面举几个例子:
1)共享单车是面向于刚就业或普通上班族每日通勤的,而打车平台就是面向于有一定经济基础的、有一定目的地的、单次通勤的,因此他们所对应的平台和服务功能完全不同;
2)家庭智能种植系统,是面向于对食材健康有一定要求的家庭,而对于那些对食材价格极度敏感的用户就不是此产品的目标,我们也不用为了适应此类价格敏感用户去做产品和服务的改变 。
结合上一章节讲的当前时代已经进入了第四次财富发展期,人们已经开始追求生活的品质,因此不同人群的特征会更加明显,美食、健身、娱乐、健康、旅游、艺术都将成为更多人所追求的目标,所以项目定位的人群尽量往改善生活、提升品质方面去考虑,把传统行业的产品和服务再重做一遍 。
- 爵士乐的特点英文介绍,爵士乐的特点
- 中国的万里长城的介绍 长城的介绍
- 致富创业好项目推荐 创业好项目推荐 2022必火的创业项目
- 起源于中国的冬奥会项目 冬奥发源地
- 日产劲客各种按键功能 日产劲客按键功能介绍
- 北镇市景点 北镇市景点介绍
- 蒲星宇个人资料蒲星宇背景及演过的影视剧图片
- 张潘靓子个人资料张潘靓子背景及演过的影视剧图片
- 孙启恒个人资料孙启恒背景及演过的影视剧图片
- 上白个人资料上白背景及演过的影视剧图片