大数据技术生态中,Hadoop、Hive、Spark是什么关系?| 通俗易懂科普向

作者: 昆仑数据K2DATA分类: 科学科普 发布时间: 2022-08-10 16:43:48 浏览:119789 次

大数据技术生态中,Hadoop、Hive、Spark是什么关系?| 通俗易懂科普向

抱着一个露露酱:
这个视频真的讲的太他喵好了。比文字教程生动形象,一下子全部串起来,这位老师很适合讲课啊!!!!不知道这位老师的名号是什么?太厉害了

【回复】回复 @抱着一个露露酱 :昆仑数据首席架构师 徐地博士~ 哈哈哈 这就转告他多录点其他视频 感谢喜欢!!!!如果有想听的话题也可以告诉我们~~~
【回复】确实 我认为就算一个高中毕业上过几年班的学生都能听得懂[笑哭]
【回复】回复 @昆仑数据K2DATA : 不愧是架构师,这逻辑表达太清晰了
AI课代表呀:
AI课代表的笔记:这个视频介绍了大数据技术生态中Hadoop、Hive和Spark的关系。Hadoop是一个分布式存储系统,通过HDFS将数据存储在多台机器上,提供无限大的存储空间;Hive是一个基于Hadoop的数据处理框架,让用户能够用类似SQL的语言来处理结构化数据;Spark是一个基于内存的计算框架,比Hadoop的MapReduce快2-3倍。这三个技术各有特点,根据实际需求选择合适的技术。 - 0:01 📊数据管理和计算问题 - 2:14 🔥并行编程和Hive解决方案 - 4:27 💻SQL与Mac OS程序的比较 本内容由大模型自动生成,关注并 @AI课代表呀 总结其它视频吧~(本条由 @只因泥石载苔美 召唤)

账号已注销:
个人理解。把分布式集群当作成一台计算机的话。mapred就象是这台计算机的cpu,hdfs就是文件管理系统,yarn就是OS,负责资源管理和调度。spark和mr一样都是负责计算的,只不过前者主要基于内存,后者基于磁盘。

笑起来真幸福:
课代表来了,如果对yarn node lables 感兴趣的可以看我的博客 https://blog.csdn.net/u013412066/article/details/129029356 如果对 hadoop 安装部署及联邦机制感兴趣的可以看我的博客 https://blog.csdn.net/u013412066/article/details/128988274

冷炎小狼:
我发布了一篇笔记,快来看看吧 数据处理最主要2部分 一个是怎么存一个是怎么计算 在hadoop生态中 存储管理多台仓库是hdfs分布式文件系统,它会进行包装提供统一像单机一样 计算则是... https://www.bilibili.com/h5/note-app/view?cvid=18471374&pagefrom=comment

爆米花201811:
讲得非常非常清楚[抱拳][抱拳][抱拳][抱拳]

相生啊:
内容不错,建议解决一下回音问题,听的太累了

蓝亭吉:
数据存储方面有兴趣试试数蚕数据库 结构化非结构化都有解决方案

Ejay_yy:
https://developer.aliyun.com/article/1482553 类似spark这类系统的容灾方案

98567480512_bili:
数据科学与大数据技术,想学这个,但是好像找不到太系统的教程视频,请问有没有学习课程

【回复】尚硅谷不是有吗,你搜一下hadoop然后置顶那里就有大数据的学习路线
ytfrdfiw2:
深入浅出,特别是最后一张图,非常到位,感谢分享。

SPARK 编程 大数据 HADOOP 数据科学 MapReduce

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多相关阅读