Hadoop 新 MapReduce 框架 Yarn 详解(6)

我们进入具体的输出目录,可以清楚的看到程序处理的输出结果,正如我们 Demo 中设计的,两个 Reduce 分别生成了两个输出文件,分别是 part-r-00000 和 part-r-00001,对应 Module 和 Log Level 的处理输出信息:


图 13.Demo 输出目录(2)

图 13.Demo 输出目录(2)

点击 part-r-00000 的输出文件链接,可以看到程序处理后的 log level 的统计信息:


图 14.Demo 输出结果(1)

图 14.Demo 输出结果(1)

点击 part-r-00001 的输出文件链接,可以看到程序处理后 Module 的统计信息:


图 15.Demo 输出结果(2)

图 15.Demo 输出结果(2)

至此我们基于新的 Yarn 框架的 Demo 完全成功运行,实现功能与预期设计完全一致,运行状态和 NameNode/DataNode 部署,Job/MapReduece 程序的调度均和设计一致。读者可参考该 Demo 的配置及代码进行修改,做为实际生产环境部署和实施的基础。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/39fc14dcb6a6c4b154fdcfa5503fe898.html