checkpoint异常需要手动合并editlog

最近我们集群的SNN发生了一些异常,记录下。

阅读全文 »

跨集群访问

简单总结下跨集群访问的多种方式。

阅读全文 »

linode被qiang了

终于轮到我了。。
已经有一段时间了,今天刚折腾好。

阅读全文 »

ContainerExecutor简介

这篇文章拖了很长时间,本来是打算系统整理下YARN资源隔离机制的。
但太TM复杂了。。。很烦躁,看的头痛。。。
把目前写好的部分先发出来吧。

阅读全文 »

hadoop 2.5.2 最小配置

测试YARN-2578时,搭了一个简单的集群。记录下备用。

阅读全文 »

网络异常导致RM failover失败

测试RM HA时发现一个JIRA:YARN-2578

阅读全文 »

RM HA机制的一些研究

之前一直在研究hadoop 2.5.2。稍微整理下RM HA机制。

阅读全文 »

YARN资源调度策略

公司活动写的一篇文章。这里也发下吧。
介绍下YARN中资源调度相关概念和算法。以hadoop 2.2.0为准。

阅读全文 »

Maven dependency exclude的bug

最近碰到的一个bug。

阅读全文 »

Kerberos豆知识

虽然这是上个世纪的东西了,虽然很麻烦,但这是hadoop唯一官方支持的安全机制。。。
我不想太深入kerberos的原理(其实是不懂),只是整理下使用中碰到的一些问题。

阅读全文 »