在对数据进行处理之前,需要将数据转化成Hadoop能够辨识的格式,其后才能开始处理。但大规模数据的数据转换与传输本身就是一项极艰难的任务,同时又要符合Hadoop数据处理的要求。在已有的格式不能够满足Hadoop分布式存储和传输需要的基础上,Hadoop自定义了一套特有的文件I/O系统。3.1Hadoop的压缩类型介绍 我们知道,Hadoop的数据交换是基于宽带连接的一种数据连接方式,因此在数据处理时推荐使用压缩的方式对数据进行预处理。其好处也是不言而喻的,第一是节省了大量带宽;第二则是由于Hadoop的任务处理机制,可以更方便地进行数据传输。这...