hadoop监控

Hadoop监控系统演示预研部-刘堃@Email：[e-mail]2011-09客户第一|阳光沟通|团队协作|拥抱变化|学习成长Hadoop监控系统演示预研部-刘堃9062372011-09@Email:[e-mail]监控JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIJqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIJquery及其插件：文件列表浏览机架树形展示监控图表JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIAjaxComet：使用Restfulapi和Json实时更新监控数据JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIWebSoket：文件访问信息查询接口，日志查询，实现类似tail效果JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMISpringMVC：基于注解实现RestFul接口，支持html/json/.xml多种数据格式JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIRedis：内存数据库，作为监控信息存储，缓存JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIMybatisMysql：持久存储，存储Json字符串，满足监控数据格式的扩展性JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIMybatisMysql：监控引擎，线程池运行SSH2和JMX监控任务JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMISSH2Shell：通过SSH2协议和Shell命令，实现节点环境变量，JVM参数设置，系统属性，硬件性能监控JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIJPython：监控数据结果解析JqueryAjaxCometSpringMVCRedisWebsocketMybatis/MysqlHadoop监控ControlEngineSSH2/ShellJPythonJMX/RMIJPython：通过Mbean获取节点实时信息，并通过HadoopMbean机制，扩展实现“文件访问量统计”，“请求数统计”，“读写速度监控”，“限速”系统初始化启动：当未启动时状态为‘false’系统初始化完成：当完成启动时状态为‘true’Hadoop监控节点运行Hadoop监控机架节点状态统计：节点列表实时性能（CPU负载，内存负责，HDFS磁盘IO，HDFS网络IO，HDFS连接并发数，连接速度）文件查询Hadoop监控HDFS文件查询系统：查询：文件大小，备份，权限，状态，当前访问量，总访问量，Block节点分布文件操作：移动，重命名，删除（后期支持分块调整）综合信息Hadoop监控综合信息Hadoop监控综合信息Hadoop监控综合信息Hadoop监控综合信息Hadoop监控综合信息Hadoop监控文件查询在查询框内输入所需查询的目录或文件，点击查询按钮进行查询双击folder可展开文件夹Hadoop监控存储分布节点号在机架ID查询框输入所需查询的机架ID后，点击查询按钮将在下方显示该机架上各节点的存储信息Hadoop监控存储分布Hadoop监控连接速度通过“节点类型”、“节点IP”、“起始时间”、“截止时间”查询节点的历史连接速度信息Hadoop监控集群历史信息通过“起始时间”和“截止时间”查询集群历史信息Hadoop监控集群历史信息Hadoop监控集群历史信息Hadoop监控集群历史信息Hadoop监控节点实时信息通过节点IP获取节点实时信息Hadoop监控节点实时信息Hadoop监控节点实时信息Hadoop监控节点实时信息Hadoop节点信息Hadoop监控节点实时信息Hadoop监控节点历史信息通过“节点IP”、“起始时间”、“结束时间”获取节点的历史信息Hadoop监控节点历史信息Hadoop监控节点历史信息Hadoop监控