当前位置:首页 > 实用技巧 >

大数据学习经验分享(大数据学习如何从入门到精通)

来源:原点资讯(www.yd166.com)时间:2023-05-03 05:51:59作者:YD166手机阅读>>

最近几年,我跟很多创业者交流,发现创业最艰难的地方,莫过于创业项目难以实现商业价值。很多时候技术实现了、产品做好了,然后千辛万苦做运营,各种补贴、各种宣传,但是用户就是不买账,活跃度差、留存率低。

很多时候,我们不是不够努力,可是如果方向错了,再多努力似乎也没有用。阿里内部有句话说的是“方向对了,路就不怕远”,雷军也说过“不要用你战术上的勤奋,掩盖你战略上的懒惰”。这两句话都是说,要找好方向、找准机会,不要为了努力而努力,要为了目标和价值而努力。而王兴则更加直言不讳:“很多人为了放弃思考,什么事情都干得出来”。

我们回头看看Hadoop的成长历程。从2004年Google发表论文,到2008年Hadoop成为Apache的开源项目,历时4年。当时世界上那么多搜索引擎公司似乎都对这件事熟视无睹,Yahoo、百度、搜狐(是的,搜狐曾经是一家搜索引擎公司),都任由这个机会流失。只有Doug Cutting把握住机会,做出了Hadoop,开创了大数据行业,甚至引领了一个时代。

大数据学习经验分享,大数据学习如何从入门到精通(1)

我们可以从Hadoop历史中学到的第一个经验就是识别机会、把握机会。有的时候,你不需要多么天才的思考力,也不需要超越众人去预见未来,只需要当机会到来的时候,能够敏锐地意识到机会,全力以赴付出才智和努力,就可以脱颖而出了。

结合大数据来说,虽然大数据技术已经成熟,但是它和各种应用场景的结合方兴未艾,如果能看到大数据和你所在领域结合的机会,也许就找到了一次脱颖而出的机会。

另一方面,如果观察一下Hadoop几个主要产品的架构设计,就会发现它们都有相似之处,即都是一主多从的架构方案。HDFS,一个NameNode,多个DataNode;MapReduce 1,一个JobTracker,多个TaskTracker;Yarn,一个ResourceManager,多个NodeManager。

事实上,很多大数据产品都是这样的架构:Storm,一个Nimbus,多个Supervisor;Spark,一个Master,多个Slave。

大数据学习经验分享,大数据学习如何从入门到精通(2)

大数据因为要对数据和计算任务进行统一管理,所以和互联网的在线应用不同,需要一个全局管理者;而在线应用因为每个用户请求都是独立的,而且为了实现高性能和便于集群伸缩,会尽量避免全局管理者。

所以我们从Hadoop中可以学到大数据领域的一个架构模式:集中管理,分布存储与计算。

使用Hadoop,要先了解Hadoop、学习Hadoop、掌握Hadoop,要做工具的主人,而不是工具的奴隶,不能每天被工具的各种问题牵着走。最终的目标是要超越Hadoop,打造适合自己业务场景的大数据解决方案。

在学习大数据的时候,不要局限在大数据技术这个领域,要从更开阔的视野和角度看待大数据、理解大数据。这样一方面可以更好地学习大数据技术本身,另一方面也可以把以前的知识都融会贯通起来。

计算机知识更新迭代非常快速,如果只是什么技术新就学什么,或者什么热门学什么,就会处于一种永远在学习,永远都学不完的境地。

如果这些知识点对于你而言都是孤立的,新知识真的就只是新的知识,无法触类旁通,无法利用已有的知识体系快速理解这些新知识,进而掌握这些新知识。这样不但学得累,而且就算“学”完了,忘得也快。

所以不要纠结在仅仅学习一些新的技术和知识点了,构建起你的知识和思维体系,不管任何新技术出现,都能够快速容纳到你的知识和思维体系里面。这样你非但不会惧怕新技术、新知识,反而会更加渴望,因为你需要这些新知识让你的知识和思维体系更加完善。

关于学习新知识我有一点心得体会。我在学习新知识的时候会遵循一个5-20-2法则,用5分钟的时间了解这个新知识的特点、应用场景、要解决的问题;用20分钟理解它的主要设计原理、核心思想和思路;再花2个小时看关键的设计细节,尝试使用或者做一个demo。

如果5分钟不能搞懂它要解决的问题,我就会放弃;20分钟没有理解它的设计思路,我也会放弃;2个小时还上不了手,我也会放一放。请相信我,一种真正有价值的好技术,即便这次放弃了,过一阵子它还会换一种方式继续出现在你面前。这个时候,你再尝试用5-20-2法则学习,也许就能理解了。我学Hadoop实际上就是经历了好几次这样的过程,才终于入门。而有些技术,当时我放弃了,它们再也没有出现在我面前,被历史淘汰了,我也没有因此浪费自己的时间。

还有的时候,你学某门新技术却苦苦不能入门,可能仅仅就是因为你看的文章、书籍本身写得糟糕,或者作者写法跟你的思维方式不对路而已,并不代表这个技术有多难,更不代表你的能力有问题,如果换个方式、换个时间、换篇文章重新看,可能就豁然开朗了。

关于作者:李智慧,同程旅行交通首席架构师。曾任阿里巴巴、Intel架构师,长期从事分布式系统与大数据开发,Apache Spark 代码贡献者,腾讯云 TVP,著有畅销书《大型网站技术架构:核心原理与案例分析》。

本文节选自《大数据技术架构:核心原理与应用实践》,想了解更多大数据技术架构的内容,推荐阅读此书。

大数据学习经验分享,大数据学习如何从入门到精通(3)

更多精彩内容请阅读《大数据技术架构:核心原理与应用实践》!

京东满100减50

快快扫码抢购吧!

大数据学习经验分享,大数据学习如何从入门到精通(4)

未来的生活一定是数字化的生活,掌握一些大数据技术总是好事。但本质上它也只是一个工具,人生的旅程,既要紧跟时代,也要谨防随波逐流。相信各位读者能以《大数据技术架构:核心原理与应用实践》一书的内容为起点而非终点,继续探索,走出自己的光明大道。

栏目热文

移动手机卡如何设置网速最快(移动4g手机卡怎么设置网速最快)

移动手机卡如何设置网速最快(移动4g手机卡怎么设置网速最快)

现在的很多朋友的手机网络实在是跟不上了,那么下面小编话不多说,直接开始为大家介绍,到底怎么设置呢?移动第一步:首先咱们进...

2023-05-03 05:58:41查看全文 >>

移动手机卡设置网速最快(移动手机卡网络怎么设置网速最快)

移动手机卡设置网速最快(移动手机卡网络怎么设置网速最快)

手机4G上网变慢,不一定和手机上网设置有关。事实上手机在出厂状态下网络配置就已经是最佳状态了,不需要进行手动的设置。如果...

2023-05-03 06:02:50查看全文 >>

国内允许饲养的稀有宠物(中国允许养的几种 高级宠物)

国内允许饲养的稀有宠物(中国允许养的几种 高级宠物)

你喜欢养宠物吗?今天,我们来看看那些十分稀奇的宠物,不过,饲养它们是合法的哦!中国允许养的十种稀有宠物NO1 羊驼羊驼是...

2023-05-03 05:53:37查看全文 >>

国内允许养的比较稀奇的宠物(干净不臭的小型宠物)

国内允许养的比较稀奇的宠物(干净不臭的小型宠物)

在国内可以养的稀有宠物,有斑点香猫,是一只特别胆小易被惊吓住的小可爱。特别容易感到不安的斑点香猫耳朵老是不停地动,它对...

2023-05-03 05:44:25查看全文 >>

合伙怎么分工和监督(怎样确定口头合伙关系)

合伙怎么分工和监督(怎样确定口头合伙关系)

我们总在强调合伙创业讲究的是团队协作,而组建出一支高效的团队,就必须先做好分工。无论企业规模大小,做好内部结构的规划和...

2023-05-03 05:43:00查看全文 >>

最好的大数据学习教程(人工智能和大数据结合的论文)

最好的大数据学习教程(人工智能和大数据结合的论文)

大数据的出现让很多人产生学习大数据的想法,但很多人都是0基础转行或者刚毕业想要学习大数据,那大数据对于0基础的人来讲,怎...

2023-05-03 05:55:06查看全文 >>

大数据学习技巧与方法(想学大数据的方法)

大数据学习技巧与方法(想学大数据的方法)

大数据行业,这个词语听起来有一些空洞,这对于我们很多想入门学习的小伙伴来说甚至还有一些迷茫,但其实说到大数据技术,大家对...

2023-05-03 06:03:25查看全文 >>

大数据学习的基本步骤(大数据学习难点在哪里)

大数据学习的基本步骤(大数据学习难点在哪里)

很多小伙伴都想要学习大数据技术,但真的不知道该如何学习,从哪个方向开始,又如何一步一步将大数据技术归为自己技能的呢?大数...

2023-05-03 05:24:47查看全文 >>

大数据学习从零开始学(大数据技术从零开始学习)

大数据学习从零开始学(大数据技术从零开始学习)

大数据、人工智能( Artificial Intelligence )像当年的石油、电力一样, 正以前所未有的广度和深度...

2023-05-03 06:07:00查看全文 >>

大数据学习的经验和方法(大数据学习的方法和步骤)

大数据学习的经验和方法(大数据学习的方法和步骤)

很多人了解到大数据发展的前景和空间很好,适合发展自己的职业生涯,那么零基础的新手想转行学习大数据,可以按照什么样的流程来...

2023-05-03 06:06:58查看全文 >>

文档排行