零基础学大数据,认识Hadoop和Spark

Hadoop

Hadoop是Apache旗下的一套开源软件平台。

Hadoop提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理。

Hadoop的核心组件有:

1、HDFS(分布式文件系统)

2、Yarn(运算资源调度系统)

3、MapReduce(分布式运算编程框架)

广义上来说,Hadoop通常是指一个更广泛的概念——HADOOP生态圈

Hadoop的十大应用场景

在线旅游:目前全球范围内80%的在线旅游网站在使用Cloudera公司提供的Hadoop发行版。

移动数据:Cloudera运营总监称,美国有70%的智能手机数据服务背后都是由Hadoop来支撑的,也就是说,包括数据的存储以及无线运营商的数据处理等,都是在利用Hadoop技术。

电子商务:eBay是最经典的例子,国内的电商在Hadoop技术上也是储备颇为雄厚的。

能源开采:美国Chevron公司是全美第二大石油公司,他们的IT部门主管介绍了Chevron使用Hadoop的经验,他们利用Hadoop进行数据的收集和处理,其中这些数据是海洋的地震数据,以便于他们找到油矿的位置。

节能:另外一家能源服务商Opower也在使用Hadoop,为消费者提供节约电费的服务,其中对用户电费单进行了预测分析。

基础架构管理:这是一个非常基础的应用场景,用户可以用Hadoop从服务器、交换机以及其他的设备中收集并分析数据。

图像处理:创业公司Skybox Imaging使用Hadoop来存储并处理图片数据,从卫星中拍摄的高清图像中探测地理变化。

诈骗检测:一般用于金融服务或者政府机构,利用Hadoop来存储所有的客户交易数据,包括一些非结构化的数据,能够帮助机构发现客户的异常活动,预防欺诈行为。

IT安全:除企业IT基础机构的管理之外,Hadoop还可以用来处理机器生成数据以便甄别来自恶意软件或者网络中的攻击。

医疗保健:医疗行业也会用到Hadoop,医疗机构可以利用语义分析为患者提供医护人员,并协助医生更好地为患者进行诊断。

Spark

Spark是用于大规模数据处理的快速通用引擎。

Spark是一个快速的通用集群计算系统。 它在中提供了高级API Java, Scala, Python and R,并提供了一个优化引擎,该引擎支持常规执行图。

它还支持一系列丰富的高级工具,包括:

1、用于SQL和结构化数据处理的Spark SQL,扩展到DataFrames和DataSet

2、MLlib用于机器学习

3、GraphX用于图形处理

4、Spark Streaming用于流数据处理

Spark的核心是什么

RDD是Spark的基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD也是Spark非常核心的东西,它表示已被分区,不可变的并能够被并行操作的数据集合,不同的数据集格式对应不同的RDD实现。

RDD必须是可序列化的。RDD可以cache到内存中,每次对RDD数据集的操作之后的结果,都可以存放到内存中,下一个操作可以直接从内存中输入,省去了MapReduce大量的磁盘IO操作。这对于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说,效率提升比较大。

Spark的适用场景有哪些

由于RDD的特性,Spark不适用那种异步细粒度更新状态的应用,例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。

成都加米谷大数据科技有限公司,一家专注于大数据人才培养的机构。个人培训 丨 企业内训

大数据时代各种技术日新月异,想要保持竞争力就必须得不断地学习。写这些文章的目的是希望能帮到一些人了解学习大数据相关知识 。加米谷大数据,大数据人才培养机构,喜欢的同学可关注下,每天花一点时间学习,长期积累总是会有收获的。

156 thoughts on “零基础学大数据,认识Hadoop和Spark”

  1. Pingback: Arie Baisch
  2. Pingback: Beverly Bultron
  3. Pingback: MILF City
  4. Pingback: premium-domain-name
  5. Pingback: valentine pillow
  6. Pingback: Click Here
  7. Pingback: Click Here
  8. Pingback: Click Here
  9. Pingback: Click Here
  10. Pingback: Click Here
  11. Pingback: Click Here
  12. Pingback: Click Here
  13. Pingback: Click Here
  14. Pingback: Click Here
  15. Pingback: Click Here
  16. Pingback: Click Here
  17. Pingback: Click Here
  18. Pingback: Click Here
  19. Pingback: Click Here
  20. Pingback: Click Here
  21. Pingback: Click Here
  22. Pingback: Click Here
  23. Pingback: spaceros
  24. Pingback: Space ROS
  25. Pingback: Click Here
  26. Pingback: Click Here
  27. Pingback: Reputation Defenders
  28. Pingback: Click Here
  29. Pingback: Click Here
  30. Pingback: Click Here
  31. Pingback: Click Here
  32. Pingback: Click Here
  33. Pingback: Click Here
  34. Pingback: Click Here
  35. Pingback: Click Here
  36. Pingback: Click Here
  37. Pingback: Click Here
  38. Pingback: Click Here
  39. Pingback: Click Here
  40. Pingback: Click Here
  41. Pingback: Click Here
  42. Pingback: Click Here
  43. Pingback: Click Here
  44. Pingback: Click Here
  45. Pingback: Click Here
  46. Pingback: Click Here
  47. Pingback: Click Here
  48. Pingback: Click Here
  49. Pingback: Click Here
  50. Pingback: Click Here
  51. Pingback: Click Here
  52. Pingback: Click Here
  53. Pingback: Click Here
  54. Pingback: Click Here
  55. Pingback: Click Here
  56. Pingback: Click Here
  57. Pingback: Click Here
  58. Pingback: Click Here
  59. Pingback: Click Here
  60. Pingback: Click Here
  61. Pingback: Click Here
  62. Pingback: Click Here
  63. Pingback: Click Here
  64. Pingback: Click Here
  65. Pingback: Click Here
  66. Pingback: Click Here
  67. Pingback: Click Here
  68. Pingback: Click Here
  69. Pingback: Click Here
  70. Pingback: best-domain-broker
  71. Pingback: domain
  72. Pingback: Google reviews
  73. Pingback: Aussie porn
  74. Pingback: reputation defenders
  75. Pingback: 2023 Books
  76. Pingback: obituary
  77. Pingback: IRA Empire
  78. Pingback: Chirurgie Tunisie
  79. Pingback: Information literacy
  80. Pingback: fue
  81. Pingback: Future University
  82. Pingback: Academic Advisor
  83. Pingback: Dental implants
  84. Pingback: Academic Innovation
  85. Pingback: Database Management
  86. Pingback: education
  87. Pingback: fue
  88. Pingback: Marketing degree
  89. Pingback: FUE
  90. Pingback: Endodontic Training
  91. Pingback: Changing World
  92. Pingback: Faculty Building
  93. Pingback: Maillot de football
  94. Pingback: Maillot de football
  95. Pingback: Maillot de football
  96. Pingback: Maillot de football
  97. Pingback: Maillot de football
  98. Pingback: Maillot de football
  99. Pingback: Maillot de football
  100. Pingback: Maillot de football
  101. Pingback: Maillot de football
  102. Pingback: Maillot de football
  103. Pingback: SEOSolutionVIP Fiverr
  104. Pingback: SEOSolutionVIP Fiverr
  105. Pingback: striscia led letto
  106. Pingback: pull-ups

发表评论