Maven dependency exclude的bug

最近碰到的一个bug。

阅读全文 »

Kerberos豆知识

虽然这是上个世纪的东西了,虽然很麻烦,但这是hadoop唯一官方支持的安全机制。。。
我不想太深入kerberos的原理(其实是不懂),只是整理下使用中碰到的一些问题。

阅读全文 »

SNN web页面加载缓慢

我们的SNN已经运行很长时间了。中间发生过几次failover。
最近打开web页面的时候非常卡。因为Loading edits的条目非常多,日积月累。
其实重启下就可以了。但还是要从代码里研究下。顺便整理下SNN的作用。

阅读全文 »

HA集群中如何判断ActiveNN

偶然的机会,想到一个问题,HA的集群中,客户端是如何得知Active NN的地址的?

阅读全文 »

交换机引起的hbase事故

最近我们的hbase集群(0.98)突然出现写入很慢的情况。折腾了好几天。

阅读全文 »

java豆知识

一些零散的java知识点。

阅读全文 »

DNS异常导致RM/NM进程挂掉

某天凌晨4点左右DNS异常导致测试集群RM进程挂掉。
这是个已知的bug:https://issues.apache.org/jira/browse/YARN-713

但后续发现所有NM进程也挂掉了,需要研究下是怎么回事。

阅读全文 »

HA failover与zookeeper超时

最近想到一个问题,在一个HA的集群当中,Active挂掉后,多久才会发生failover?
换言之,Active挂了后,多久才能发现?

阅读全文 »

hadoop豆知识

一些零散的知识点。

阅读全文 »

一些思考

大概1、2年前,看到某媒体评的互联网未来4个热点:云计算、大数据、社交、移动互联网。当年的热点现在怎样了?

阅读全文 »