ARTICLE · 1113431
Hadoop 源码学习手册 12 · 速查决策树|口
Hadoop 源码学习手册 12 · 速查决策树|口
遇到 Hadoop 报错,别在源码里瞎翻。我画了张速查决策树,按问题和修改目标直接定位。
文件读写慢或丢数据,直奔 HDFS 模块。作业卡住看 YARN,任务失败看 MapReduce。配置不生效、RPC 连不上或者 Kerberos 认证失败,全去 Common 模块找原因。跨集群拷贝看 Tools,非 Java 访问 HDFS 或者联邦管理,对应 HDFS-Ext 和 RBF。写自定义 AM 抄 YARN-Ext 模板,上云就选 Cloud 连接器。
想改代码也有明确路径。新增 RPC 方法,从 ClientProtocol 接口一路往下改。调副本策略动 BlockPlacementPolicy,加调度器实现 ResourceScheduler。调 Map 缓冲区大小,直接找 MapTask.MapOutputBuffer。加云存储连接器继承 FileSystem,改路由策略动 OrderedResolver。
全书 14 章已经印完,下一册写什么,留言区点单。
原文Hadoop 源码学习手册 12 · 速查决策树|口袋通识馆
山西,3分钟前,