Fenriswolf 程式筆記

奮利斯狼的地盤,小綿羊勿入

Hadoop 參數設定 – core-site.xml

Hadoop 相關的參數非常的多,要怎麼設定才能達到最好的效能是一件令人頭痛的事
本篇是 core-site.xml 的設定及說明
繼續閱讀

廣告

2012/04/05 Posted by | Hadoop | , | 發表留言

HDFS quota 設定

在多人共用的狀況下,quota 的設定非常重要。尤其是在 Hadoop 處理大量資料的環境,不小心就容易把所有的空間用完造成別人無法存取
繼續閱讀

2012/04/04 Posted by | Hadoop | , , | 發表留言

建立 Maven Repository

用 Maven 可以很容易管理所需要用到的 3rd-party libraries,但是有兩個缺點

  1. 從公司連 public maven repositories 很慢
  2. 公司內部的 libraries 無法放到 public repository 讓大家存取

解決這兩個問題的方式很簡單,就是建立自己的 local maven repository
比較有名的 maven repository server 有 Sonatype NexusJFrog Artifactory
這兩個 servers 都各有擁護者,本篇會介紹的是 Artifactory
繼續閱讀

2012/04/04 Posted by | Java Tool | , , | 發表留言

自訂 Pig Eval Function – 型別檢查

直接繼承 EvalFunc 預設並沒有強制開發者 override 型別檢查的 functions,這會造成誤用別人所寫的 UDFs。尤其是當讀入 100 萬筆資料卻發生 100 萬次 ClassCastException 後才知道自己傳入錯的型別
繼續閱讀

2012/04/01 Posted by | Pig | , | 發表留言