大数据与hadoop有什么关系(大数据系列之Hadoop一般用在哪些业务场景)

大数据与hadoop有什么关系(大数据系列之Hadoop一般用在哪些业务场景)(1)

大数据Hadoop

大数据与hadoop有什么关系(大数据系列之Hadoop一般用在哪些业务场景)(2)

  • Hadoop可以做大数据量存储,它是分布式,可以存储离线的数据,不需要实时性的数据,就像云盘,网盘那样,你用的时候,可以直接读取就行。

  • 你也可以将历史数据存储在Hadoop上,通过整体来分析数据,比抽样的数据要全,更可靠。

  • 还可以处理大型文件,比如PB级别的,因为它的HDFS是分布式存储数据的,它会将数据按块来进行存储,一般是128M,现在3.0是256M。

  • Hadoop可以做日志处理: 通过MapReduce编程可以抽取想要的内容,也可以结合Flume来收集想要的数据,并通过Hive将数据保存到表,实际上数据底层还是存储在Hadoop上,进行日志分析。

  • Hadoop支持并行计算,因为它是分布式的,数据是存储在不同的机器上,如果你的需求满足分布式计算,那你就可以用MR来就行海量计算。我曾经用MR做过算法,那是2年前啦。

  • Hadoop还可以将数据从oracle、mysql、DB2、mongdb等的数据进行ETL处理后,存储在HDFS上进行保存。它有三个副本,非常可靠。

  • Hadoop还可以通过使用HBase做数据分析,因为HBase是基于Hadoop的数据库, 可以实现实时性,高效和随机读写。

喜欢就关注我,跟我一起进步,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页