Fenriswolf 程式筆記

奮利斯狼的地盤,小綿羊勿入

用 Offline Image Viewer 分析 Hadoop Namespace

Hadoop 用 fsimage 來儲存整個 namespace,但 fsimage 是 binary 格式,很難讓系統管理者分析這個檔案。Offline Image Viewer 是 Hadoop 0.21 新增的功能,可以幫使用者把 fsimage 轉成不同的文字格式以方便做分析。如同字面所顯示,這個工具是離線操作的,也就是不需要啟動 Hadoop cluster。
繼續閱讀

廣告

2012/12/10 Posted by | Hadoop | , , | 發表留言

Cloudera Manager Free Edition 4.1 和 CDH 4.1.2 簡易安裝教學

安裝及管理一個大的 Hadoop cluster 並不是只要下載 tar files 解壓縮並啟動 services 這麼簡單。後續有非常多設定、監控等麻煩的事要處理。Cloudera Manager 就整合了一系列的功能讓系統管理者能更方便的維護 Hadoop。Free Edition 的限制如下

  • 只支援 50 個 nodes
  • 沒有設定的版本控管
  • 沒有支援 LDAP/Kerberos Authentication
  • 沒有進階的 services 監控選項,如 health check
  • 沒有 Logs 搜尋功能

更多說明在 How to Upgrade the Free Edition to Cloudera Manager 可以找到。但是對小型的 cluster 或是新手想試試怎麼裝 Hadoop 很有幫助。
繼續閱讀

2012/12/06 Posted by | Hadoop | , , | 2 則迴響