自訂 Pig Eval Function – 型別檢查
直接繼承 EvalFunc 預設並沒有強制開發者 override 型別檢查的 functions,這會造成誤用別人所寫的 UDFs。尤其是當讀入 100 萬筆資料卻發生 100 萬次 ClassCastException 後才知道自己傳入錯的型別
繼續閱讀
自訂 Pig Eval Function – 基礎篇
Pig 預設提供的 functions 很少,一般常見的 utility functions 都沒有包含在內
使用自訂的 UDF 有兩種方式
- 利用 Pig 內建的 Dynamic Invoke function
- 自己寫 UDF
Pig Latin / SQL 對照表
很多人都是從 RDB 的程式開始寫起,在學習 Pig 的過程一定會想「SQL 裡的 xxx 功能用 Pig 應該要怎麼寫」
以下的對照表應該會對想學 Pig 的人有所幫助
繼續閱讀
Apache Pig 簡介
Hadoop 這個名詞已經越來越熱門了,但是難寫的 Mapper/Reducer 也造成很多人的進入障礙。
Pig 提供了一個 high level 的語言並轉換成 Map/Reduce 幫助大家執行大量的資料分析。
繼續閱讀