打破tpcx-bb测试记录又怎样,会玩hadoop大数据应用吗
发布网友
发布时间：2022-04-26 01:01
共1个回答
热心网友
时间：2022-06-19 01:59
大数据应用一般采用Hadoop数据库，主要得益于其在数据提取、转换和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，其最核心的设计就是分布式文件系统（Hadoop Distributed File System，简称HDFS）和MapRece。
HDFS为海量的数据提供了分布式存储，则MapRece为海量的数据提供了分布式计算。Hadoop实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Rece)到HDFS里，从而充分利用云化的计算与存储资源，高效完成大数据应用中的业务逻辑处理流程。
