ganglia监控hadoop相关配置及监控指标说明
修改配置文件：$HADOOP_HOME/etc/hadoop/hadoop-metrics.properties添加如下内容：*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31*.sink.ganglia.period=10# default for supportsparse is false*.sink.ganglia.supportsparse=true*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40#192.168.0.100组播地址 8801是接受和发送数据端口namenode.sink.ganglia.servers=239.2.11.71:8801datanode.sink.ganglia.servers=239.2.11.71:8801jobtracker.sink.ganglia.servers=239.2.11.71:8801tasktracker.sink.ganglia.servers=239.2.11.71:8801maptask.sink.ganglia.servers=239.2.11.71:8801reducetask.sink.ganglia.servers=239.2.11.71:8801各项控制指标说明： dfs.datanode.blockChecksumOp_avg_time 块校验平均时间dfs.datanode.blockChecksumOp_num_ops 块检验次数dfs.datanode.blockReports_avg_time 块报告平均时间dfs.datanode.blockReports_num_ops 块报告次数dfs.datanode.block_verification_failures 块验证失败次数dfs.datanode.blocks_read 从硬盘读块总次数dfs.datanode.blocks_removed 删除块数目dfs.datanode.blocks_replicated 块复制总次数dfs.datanode.blocks_verified 块验证总次数dfs.datanode.blocks_written 向硬盘写块总次数dfs.datanode.bytes_read 读出总字节包含crc验证文件字节数dfs.datanode.bytes_written 写入总字节数（在写入每个packet时计数）dfs.datanode.copyBlockOp_avg_time 复制块平均时间 （单位ms）dfs.datanode.copyBlockOp_num_ops 复制块次数dfs.datanode.heartBeats_avg_time 向namenode汇报平均时间dfs.datanode.heartBeats_num_ops 向namenode汇报总次数dfs.datanode.readBlockOp_avg_time 读块平均时间（单位ms）dfs.datanode.readBlockOp_num_ops 读块总次数 一般和dfs.datanode.blocks_read 一致，先从硬盘读入输入流，增加dfs.datanode.blocks_read 计数，然后再增加该计数dfs.datanode.reads_from_local_client 从本地读入块次数dfs.datanode.reads_from_remote_client 从远程读入块次数dfs.datanode.replaceBlockOp_avg_time 替换块平均时间（负载均衡策略）dfs.datanode.replaceBlockOp_num_ops 替换块次数（负载均衡策略）dfs.datanode.volumeFailures notfound 和block拥有的volume 失败有关dfs.datanode.writeBlockOp_avg_time 写块平均时间dfs.datanode.writeBlockOp_num_ops 写块总次数一般和dfs.datanode.blocks_written 一致，先从硬盘，增加dfs.datanode.blocks_read 计数，然后再增加该计数dfs.datanode.writes_from_local_client 写本地次数dfs.datanode.writes_from_remote_client 写远程次数jvm.metrics.gcCount gc总次数jvm.metrics.gcTimeMillis gc总耗时(ms)jvm.metrics.logError jvm error 次数jvm.metrics.logFatal jvm出现fatal次数jvm.metrics.logInfo jvm info出现次数jvm.metrics.logWarn jvm warn出现次数jvm.metrics.maxMemoryM jvm试图使用最大内存（M），如果没有限制返回Long.MAX_VALUEjvm.metrics.memHeapCommittedM jvm提交堆内存大小jvm.metrics.memHeapUsedM jvm使用堆内存大小jvm.metrics.memNonHeapCommittedM jvm非堆内存已提交大小jvm.metrics.memNonHeapUsedM jvm非堆内存已使用大小jvm.metrics.threadsBlocked 正在阻塞等待监视器锁的线程数目jvm.metrics.threadsNew 尚未启动的线程数目jvm.metrics.threadsRunnable 正在执行状态的线程数目jvm.metrics.threadsTerminated 已退出线程数目jvm.metrics.threadsTimedWaiting 等待另一个线程执行取决于指定等待时间的操作的线程数目jvm.metrics.threadsWaiting 无限期地等待另一个线程来执行某一特定操作的线程数目rpc.metrics.NumOpenConnections number of open connections rpc连接打开的数目rpc.metrics.ReceivedBytes number of bytes received rpc收到的字节数rpc.metrics.RpcProcessingTime_avg_time Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间rpc.metrics.RpcProcessingTime_num_ops rpc在最近的交互中连接数目rpc.metrics.RpcQueueTime_avg_time rpc在交互中平均等待时间rpc.metrics.RpcQueueTime_num_ops rpc queue中完成的rpc操作数目rpc.metrics.SentBytes number of bytes sent rpc发送的数据字节rpc.metrics.callQueueLen length of the rpc queue rpc 队列长度rpc.metrics.rpcAuthenticationFailures number of failed authentications rpc 验证失败次数rpc.metrics.rpcAuthenticationSuccesses number of successful authentications 验证成功数rpc.metrics.rpcAuthorizationFailures number of failed authorizations 授权失败次数rpc.metrics.rpcAuthorizationSuccesses number of successful authorizations 成功次数mapred.shuffleInput.shuffle_failed_fetches 从map输出中取数据过程中获取失败次数mapred.shuffleInput.shuffle_fetchers_busy_percent 在获取map输出过程中并行获取线程忙碌占总并行获取线程百分比mapred.shuffleInput.shuffle_input_bytes shuffle过程中读入数据字节mapred.shuffleInput.shuffle_success_fetches 从map输出中取数据过程中获取成功次数mapred.shuffleOutput.shuffle_failed_outputs 向reduce发送map输出失败次数mapred.shuffleOutput.shuffle_handler_busy_percent 向reduce发送map输出中server线程忙碌占总工作线程(在tasktracker.http.threads中配置)百分比。mapred.shuffleOutput.shuffle_output_bytes shuffle过程中输出数据字节mapred.shuffleOutput.shuffle_success_outputs 向reduce成功mapred.tasktracker.mapTaskSlots 设置map槽数mapred.tasktracker.maps_running 正在运行的map数mapred.tasktracker.reduceTaskSlots 设置reduce槽数mapred.tasktracker.reduces_running 正在运行的reduce数mapred.tasktracker.tasks_completed 完成任务数mapred.tasktracker.tasks_failed_ping 因tasktracker与task交互失败导致的失败的task数目mapred.tasktracker.tasks_failed_timeout 因task未在mapred.task.timeout配置的(默认10分钟)时间内汇报进度而超时kill的task数目rpc.detailed-metrics.canCommit_avg_time rpc询问是否提交任务平均时间rpc.detailed-metrics.canCommit_num_ops rpc询问是否提交任务次数rpc.detailed-metrics.commitPending_avg_time rpc报告任务提交完成，但是该提交仍然处于pending状态的平均时间rpc.detailed-metrics.commitPending_num_ops rpc报告任务提交完成，但是该提交仍然处于pending状态的次数rpc.detailed-metrics.done_avg_time rpc报告任务成功完成的平均时间rpc.detailed-metrics.done_num_ops rpc报告任务成功完成的次数rpc.detailed-metrics.fatalError_avg_time rpc报告任务出现fatalerror的平均时间rpc.detailed-metrics.fatalError_num_ops rpc报告任务出现fatalerror的次数rpc.detailed-metrics.getBlockInfo_avg_time 从指定datanode获取block的平均时间rpc.detailed-metrics.getBlockInfo_num_ops 从指定datanode获取block的次数rpc.detailed-metrics.getMapCompletionEvents_avg_time reduce获取已经完成的map输出地址事件的平均时间rpc.detailed-metrics.getMapCompletionEvents_num_ops reduce获取已经完成的map输出地址事件的次数rpc.detailed-metrics.getProtocolVersion_avg_time 获取rpc协议版本信息的平均时间rpc.detailed-metrics.getProtocolVersion_num_ops 获取rpc协议版本信息的次数rpc.detailed-metrics.getTask_avg_time 当子进程启动后，获取jvmtask的平均时间rpc.detailed-metrics.getTask_num_ops 当子进程启动后，获取jvmtask的次数rpc.detailed-metrics.ping_avg_time 子进程周期性的检测父进程是否还存活的平均时间rpc.detailed-metrics.ping_num_ops 子进程周期性的检测父进程是否还存活的次数rpc.detailed-metrics.recoverBlock_avg_time 为指定的block开始恢复标记生成的平均时间rpc.detailed-metrics.recoverBlock_num_ops 为指定的block开始恢复标记生成的次数rpc.detailed-metrics.reportDiagnosticInfo_avg_time 向父进程报告任务错误消息的平均时间，该操作应尽可能少，这些消息会在jobtracker中保存rpc.detailed-metrics.reportDiagnosticInfo_num_ops 向父进程报告任务错误消息的次数rpc.detailed-metrics.startBlockRecovery_avg_time 开始恢复block的平均时间rpc.detailed-metrics.startBlockRecovery_num_ops 开始恢复block的次数rpc.detailed-metrics.statusUpdate_avg_time 汇报子进程进度给父进程的平均时间rpc.detailed-metrics.statusUpdate_num_ops 汇报子进程进度给父进程的次数rpc.detailed-metrics.updateBlock_avg_time 更新block到新的标记及长度的平均操作时间rpc.detailed-metrics.updateBlock_num_ops 更新block到新的标记及长度的次数参考资料：http://anyoneking.com/archives/677