博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
为何Hadoop中的块如此之大
阅读量:2239 次
发布时间:2019-05-09

本文共 220 字,大约阅读时间需要 1 分钟。

        HDFS的块比磁盘的块大,目的是使(块的寻址时间/块的总读取时间)尽可能小。如果块设置得足够大,从磁盘传输数据的时间会明显大于块寻址时间。例如,假设寻址时间为10ms,而传输速度为100MB/s,为了使寻址时间仅占传输时间的1%,可将块大小设置为100MB。现在默认块大小多为128MB。
        不适合将块大小设置得太大。MapReduce中的任务通常一次只处理一个块中的数据,因此如果任务数太少,少于集群中的节点数量,作业的运行速度就会比较慢。

转载地址:http://sglbb.baihongyu.com/

你可能感兴趣的文章
分布式系统中的幂等性的理解
查看>>
spring的注解开发中的常用注解(一)------@bean @Configuration @ComponentScan @Import @Scope @Lazy
查看>>
(五)alin’s mysql学习笔记----索引性能分析
查看>>
Spring中使用@Transactional注解进行事务管理的时候只有应用到 public 方法才有效
查看>>
springboot整合rabbitmq及rabbitmq的简单入门
查看>>
mysql事务和隔离级别笔记
查看>>
事务的传播属性(有坑点)自调用失效学习笔记
查看>>
REDIS缓存穿透,缓存击穿,缓存雪崩原因+解决方案
查看>>
动态代理实现AOP
查看>>
23种常见的java设计模式
查看>>
关于被final修饰的基本数据类型一些注意事项
查看>>
java Thread中,run方法和start方法的区别
查看>>
在 XML 中有 5 个预定义的实体引用
查看>>
XML 元素是可扩展的
查看>>
避免 XML 属性?针对元数据的 XML 属性
查看>>
XML DOM nodeType 属性值代表的意思
查看>>
JSP相关知识
查看>>
JDBC的基本知识
查看>>
《Head first设计模式》学习笔记 - 适配器模式
查看>>
《Head first设计模式》学习笔记 - 单件模式
查看>>