因為NameNode的數據需要加載到內存里,隨著數據越來越大,內存會不夠用出現內存受限問題。
解決方法:
官網:hdfs聯邦 ? ?http://blog.csdn.net/zengmingen/article/details/52143300
國內:
因為數據存在階段性,時間,內容不同等。
一個集群只能有一個NameNode,則把不同階段的數據存到不同的集群里,這是國內如京東百度淘寶等的解決方法。
如:
京東的訂單存一個集群
京東的流水存一個集群
京東的商品信息存一個集群
訂單里10年前的一個集群,10年內的一個集群