当前位置:首页 > 经验 >

什么是大数据的技术框架教程(目前常见的大数据技术框架教程)

来源:原点资讯(www.yd166.com)时间:2022-11-08 15:52:16作者:YD166手机阅读>>

想学习大数据开发的你,但是又不确定从哪里开始,也不确定要学习哪个大数据框架。这里,给大家分享2022年最值得学习的5个大数据框架。以下这些框架中的每一个都提供了不同的功能,对于任何大数据程序员来说都是必学的。

一、Hadoop大数据框架

Hadoop是基于JAVA语言开发的Apache开源框架,以分布式文件系统 HDFS (Hadoop Distributed File System)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop,为用户提供了系统底层透明的分布式基础构架。

用户可以利用Hadoop轻松地组织计算机资源,从而搭建自己的分布式计算平台,并且可以充分利用集群的计算和存储能力,完成海量数据的处理。

什么是大数据的技术框架教程,目前常见的大数据技术框架教程(1)

二、Storm大数据框架

Storm由Twitter开源并且托管在GitHub上的,Storm大数据框架与Hadoop的批处理模式不同,Storm采用的是流计算框架。但Storm与Hadoop相似之处是也提出了Spout和Bolt两个计算角色。

举个通俗的例子来说明Storm和Hadoop的不同之处,Hadoop类似水桶,而Storm类似水龙头,想要获取水,Hadoop是一桶一桶的去扛回来,而Storm只需要打开水龙头就行了。Storm流计算框架使用的是内存,延迟上具有优势,但是不会持久化数据。Storm对Java、Ruby、Python等语言都有很好的支持。

什么是大数据的技术框架教程,目前常见的大数据技术框架教程(2)

三、Samza大数据框架

Samza是一种与Apache Kafka消息系统紧密绑定的流处理框架。处理数据流时,会分别按次处理每条收到的消息。

Samza的流单位既不是元组,也不是Dstream,而是一条条消息。在Samza中,数据流被切分开来,每个部分都由一组只读消息的有序数列构成,而这些消息每条都有一个特定的ID(offset)。

该系统还支持批量处理,即逐次处理同一个数据流分区的多条消息。Samza的执行与数据流模块都是可插拔式的,尽管Samza的特色是依赖Hadoop的Yarn(另一种资源调度器)和Apache Kafka。

四、Spark大数据框架

Spark大数据框架是一种混合式的计算框架,Spark自带实时流处理工具;Spark也可以与Hadoop集成代替MapReduce;甚至Spark还可以单独拿出来借助HDFS等分布式存储系统部署集群。

Spark的运算速度与Storm相似,Spark的速度大约为Hadoop的一百倍,而Spark的成本要比Hadoop低,但是Spark目前还没有Hadoop拥有上万级别的集群,所以现阶段将Spark和Hadoop搭配起来使用是比较不错的方案。

五、Flink大数据框架

Apache Flink是另一个强大的流式和批处理大数据处理框架,它是Hadoop和Spark的继承者,是Apache Storm的下一代大数据引擎。

打个比方,如果Hadoop是2G,Spark是3G,那么Apache Flink是大数据流处理框架中的4G。

Spark并不是一个真正的流处理框架,它只是一个权宜之计,但Apache Flink是一个真正的流引擎,它增加了执行批处理、图形、表处理以及运行机器学习算法的能力。

市场上对Flink的需求已经在增加。许多著名的公司,阿里巴巴、优步已经开始使用Apache Flink来处理实时大数据,还有其他很多公司正在加入使用。

这些大数据框架功能强大,需求十分旺盛,学习这些框架可以快速提高你的大数据开发技能,从而找到心仪的工作。

栏目热文

大数据开发一般用在哪些地方(大数据开发分为哪几种)

大数据开发一般用在哪些地方(大数据开发分为哪几种)

大数据技术的目的就是为了应对业务环境(生活或生产)中第一时间产生的大量或海量数据,可能是一天几个亿甚至几十亿的数据,要对...

2022-11-08 15:48:31查看全文 >>

女孩学大数据好不好(三种人不适合学编程)

女孩学大数据好不好(三种人不适合学编程)

作者:靖东阁(山东师范大学教育学部)党的二十大报告提出,要加快建设网络强国、数字中国,这为数字信息技术的发展指明了方向,...

2022-11-08 16:06:02查看全文 >>

什么是大数据开发的基本步骤(学大数据开发要哪些前置知识)

什么是大数据开发的基本步骤(学大数据开发要哪些前置知识)

新京报贝壳财经讯 11月2日,银保监会微信公众号发布中国人民银行党委书记、中国银保监会主席郭树清的文章《加强和完善现代金...

2022-11-08 16:05:00查看全文 >>

大数据吃香吗(大数据未来吃香吗)

大数据吃香吗(大数据未来吃香吗)

哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领...

2022-11-08 16:15:12查看全文 >>

大数据技术适合女生学吗(大数据技术适合专科女生学吗)

大数据技术适合女生学吗(大数据技术适合专科女生学吗)

同样的商品,对老用户的价格比新用户更高的大数据“杀熟”已不新鲜。近日,有消费者向记者反映,相同的链接、同样的产品,新用户...

2022-11-08 15:38:44查看全文 >>

大数据开发学什么(大数据开发是什么)

大数据开发学什么(大数据开发是什么)

一、大数据技术是学什么的?大数据技术专业是结合国家数字经济、大数据、人工智能产业发展战略设置的新兴专业,该专业结合区域经...

2022-11-08 16:05:25查看全文 >>

程序员40-50岁的出路(30岁改行的5个职业)

程序员40-50岁的出路(30岁改行的5个职业)

软件工程师 35 岁危机梗还没过去,关于 40 岁出路的探讨已经来了。这两天,Hacker News 上的一条问题引起了...

2022-11-08 16:16:25查看全文 >>

什么是大数据技术(大数据技术包括哪些技术)

什么是大数据技术(大数据技术包括哪些技术)

近几年,大数据的概念逐渐深入人心,大数据的趋势越来越火爆。但是,大数据到底是个什么?怎么样才能玩好大数据呢?大数据的基本...

2022-11-08 15:35:36查看全文 >>

大数据开发是开发什么的(大数据应用与开发是什么)

大数据开发是开发什么的(大数据应用与开发是什么)

10月18日,星环科技正式登陆科创板,成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就,...

2022-11-08 15:40:02查看全文 >>

大数据开发需要掌握什么(大数据开发需要提高哪些技术深度)

大数据开发需要掌握什么(大数据开发需要提高哪些技术深度)

大数据工程师是以大数据平台构建以及海量数据采集、存储、计算等工作的技术人员,工作中的典型应用包含离线计算、实时计算、即席...

2022-11-08 16:08:03查看全文 >>

文档排行