项目背景介绍怎么写闽西八大干,项目背景介绍怎么写

项目背景介绍怎么写1

项目背景介绍怎么写闽西八大干,项目背景介绍怎么写

文章插图
写作思路要直接简化任务语言 。在叙述中,要把直接叙述变成间接叙述,尽可能简化人物语言 。需情节连贯,语句简单 。
1、项目背景:内容以现有行业产品在实际应用中的不足或者问题 。如:农药植保需要人工完成,工作强度大,人员易中毒,工作效率低,每年全国因农药中毒的人数达数万人,在这里重点描述行业的现状困境问题,用于本项目的提出埋下伏笔 。
2、国内外发展现状:以描述技术现状为主,描述现有国内技术现状,建议插入图表,将行业的高、中、低端市场的技术情况描述清楚 。国外发展现状主要靠搜索类似的高端技术,这个行业的前沿技术,写法类似于论文 。
3、发展趋势:尽量突出本项创新的发展趋势,虽然这点是写产品的发展趋势,但是为了最后落点在本项目上,需要讲关键描述方向,倾向本项目的关键性技术 。
4、项目实施必要性:本项目是实现节能减排,实现绿色制造,本项目是提高农业机械行业植保整体技术水平 。语言描述以陈述为主 。
5、项目社会意义:促进地方经济发展、促进社会进步、带动就业、提高人民生活水平等一些内容 。
湖仓一体电商项目(一):项目背景和架构介绍2#头条创作挑战赛#
项目背景和架构介绍一、项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台,本项目在技术方面涉及大数据技术组件搭建,湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化,项目所用到的技术组件都从基础搭建开始,目的在于湖仓一体架构中数据仓库与数据湖融合打通,实现企业级项目离线与实时数据指标分析 。在业务方面目前暂时涉及到会员主题与商品主题,分析指标有用户实时登录信息分析、实时浏览pv/uv分析、实时商品浏览信息分析、用户积分指标分析,后续还会继续增加业务指标和完善架构设计 。
二、项目架构1、实时数仓现状当前基于Hive的离线数据仓库已经非常成熟,随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀,业界最近几年就一直聚焦并探索于实时数仓建设 。根据数仓架构演变过程,在Lambda架构中含有离线处理与实时处理两条链路,其架构图如下:
正是由于两条链路处理数据导致数据不一致等一些列问题所以才有了Kappa架构,Kappa架构如下:
Kappa架构可以称为真正的实时数仓,目前在业界最常用实现就是Flink + Kafka,然而基于Kafka+Flink的实时数仓方案也有几个非常明显的缺陷,所以在目前很多企业中实时数仓构建中经常使用混合架构,没有实现所有业务都采用Kappa架构中实时处理实现 。Kappa架构缺陷如下:
Kafka无法支持海量数据存储 。对于海量数据量的业务线来说,Kafka一般只能存储非常短时间的数据,比如最近一周,甚至最近一天 。Kafka无法支持高效的OLAP查询,大多数业务都希望能在DWDDWS层支持即席查询的,但是Kafka无法非常友好地支持这样的需求 。无法复用目前已经非常成熟的基于离线数仓的数据血缘、数据质量管理体系 。需要重新实现一套数据血缘、数据质量管理体系 。Kafka不支持update/upsert,目前Kafka仅支持append 。实际场景中在DWS轻度汇聚层很多时候是需要更新的,DWD明细层到DWS轻度汇聚层一般会根据时间粒度以及维度进行一定的聚合,用于减少数据量,提升查询性能 。假如原始数据是秒级数据,聚合窗口是1分钟,那就有可能产生某些延迟的数据经过时间窗口聚合之后需要更新之前数据的需求 。这部分更新需求无法使用Kafka实现 。所以实时数仓发展到现在的架构,一定程度上解决了数据报表时效性问题,但是这样的架构依然存在不少问题,Kappa架构除了以上所说的问题之外,实时业务需求多的公司在选择Kappa架构后,也避免不了一些离线数据统一计算的场景,针对Kappa架构往往需要再针对某层Kafka数据重新编写实时程序进行统一计算,非常不方便 。
随着数据湖技术的出现,使Kappa架构实现批量数据和实时数据统一计算成为可能 。这就是我们今天听到的“批流一体”,在业界中很多人认为批和流在开发层面上都统一到相同的SQL上处理是批流一体,也有一些人认为在计算引擎层面上批和流可以集成在同一个计算引擎是批流一体,比如:Spark/SparkStreaming/Structured Streaming/Flink框架在计算引擎层面上实现了批处理和流处理集成 。