关于HDFS的数据可见性

以前写的一篇文章。

阅读全文 »

一个有趣的federation部署

最近碰到一个有意思的问题。QA需要3个集群用于测试,但只有5台机器,应该怎么搞?

阅读全文 »

checkpoint异常需要手动合并editlog

最近我们集群的SNN发生了一些异常,记录下。

阅读全文 »

跨集群访问

简单总结下跨集群访问的多种方式。

阅读全文 »

linode被qiang了

终于轮到我了。。
已经有一段时间了,今天刚折腾好。

阅读全文 »

ContainerExecutor简介

这篇文章拖了很长时间,本来是打算系统整理下YARN资源隔离机制的。
但太TM复杂了。。。很烦躁,看的头痛。。。
把目前写好的部分先发出来吧。

阅读全文 »

hadoop 2.5.2 最小配置

测试YARN-2578时,搭了一个简单的集群。记录下备用。

阅读全文 »

网络异常导致RM failover失败

测试RM HA时发现一个JIRA:YARN-2578

阅读全文 »

RM HA机制的一些研究

之前一直在研究hadoop 2.5.2。稍微整理下RM HA机制。

阅读全文 »

YARN资源调度策略

公司活动写的一篇文章。这里也发下吧。
介绍下YARN中资源调度相关概念和算法。以hadoop 2.2.0为准。

阅读全文 »