Hadoop Metrics体系架构分析

本文基于Hadoop 0.20.XX版本分析,和现在的Metrics2稍有不同

1:概述 Hadoop Metrics用来统计集群运行数据,比如接口调用次数,响应时间,队列长度等等,现阶段(0.19版本)支持为数不多的几个层级的数据,分别是dfs,jvm,rpc,mepred等。这些数据收集之后可以sink(通过context)到不同的目的地,比如文件,ganglia,等,也可以自己实现一个context去sink这些数据到你指定的地方。

2:架构

基本上由四个部分构成:

1、context,context是用来sink收集的数据的。而所有需要sink的数据存放在context内的一个map来保存所有put进来的metricsRecord中,然后startmonitor之后启动一个timer来定时将map中所有的record通过调用update函数来将调用context实现类的emitRecords发送出去。

context一般不直接实例化,而是从ContextFactory中get出来,首先ContextFactory的实例通过静态方法getFactory()来实例化,在getFactory()的实例化过程中,会读取hadoop-metrics.properties配置,然后依据传入的context名在配置中找到对应的构建方法进行构建,构建完了之后,立即进行初始化。 MetricsUtil类负责上从ContextFactory实例中获取context实例,并且startmonitor。在startmonitor中启动一个timer,这个timer定时类里边,首先调用updater.doUpdates(),然后调用emitRecords();将context中的所有metricsRecord全部通过调用各个context的emitRecord->emitMetrics发送出去 从上面也能看出一个context中包含有多个updater(通过Set<Updater>来保存,在updater构造函数中将自己注册到相应的context中),也包含多个Record(通过Map<String,RecordMap> bufferedData->RecordMap extends HashMap<TagMap,MetricMap>->TagMap extends TreeMap<String,Object> : MetricMap extends TreeMap<String,Number>) 现有的context包括Filesystem,Ganglia,Nullcontext,当然也可以自己实现一个来达到自己的目的 收集到自己所有的数据之后,还需要到hadoop-metrics.properties中去配置一个context,然后让数据(Record在构建函数中绑定context)随这个context而sink出去。 ganglia中,每个图的命名由contextname.recordname.metricsname组成

2、metricsRecord可以看成一个map容器,内面存放了各种string:number的刻度值,作为一个信息的载体被context发送出去

数据存放在Map<String,MetricValue> metricTable结构,MetricValue保存数值型数据,并且标识出该数据是绝对值还是相对值 比较操蛋的是,Record中不会保留过去的数值,只保留最近一次数据(即使是相对数据),所以Record中有个update方法,在这个方法内调用context的update方法,Record中的数值更新到context中对应的Record中去(相对值则会加上context中的老数据) 每个Record都有一个RecordName,所以context中即使有多个RecordMap也能通过名字表示出来,然后存放到bufferData中去。 在构造函数中,每个Record绑定一个context,通过context将数据sink出去。

3、Updater这个是重头戏,如果要实现自己的收据收集,这个是比不可少的。updater的本义就是为了将过程中收集的数据更新到update对应的Record中。然后在调用Record的update(内部调context的update,见前述)将数据更新到context的Recordmap中。

这个类目的是为了将过程中收集数据更新到信息载体中去,准备发布了,但是谁来发起这个更新呢,如前所述是由context中的timer定时调用的,先更新,后sink。 在构造函数中首先获取对应的context,然后创建一个Record(同时将该Record加入到context的Recordmap中去),最后将自己注册到context中。 有一个结构为Map<String, MetricsBase> metricsList的来保存这个updater类中所有的统计数据,在update方法中将metricList(MetricsRegistry registry )中所有的metrics更新到Record中去。 基本上每一类需要统计的数据都有一个对应的updater来完成上述的操作 在程序运行过程中,需要进行数据统计的时候,就会从updater的 metrics可以动态添加(RpcMetrics)到metricList(MetricsRegistry registry )中,也可以预先定义好(NamenodeMtrics),视场景而定。

4、MetricsBase,基类,过程中收集数据的时候,依赖这个类来做数据收集,现阶段有三个类型的数据收集

时间累积型,一直做累加操作 时间值型,只看某个时间的数据值,不叠加任何数据 时间率型,时间作为分母,如速率,平均响应时间等。

3:叠加所有的东西

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/06d15573c2fc9d074bdae3872f6e109b.html