Fenriswolf 程式筆記

奮利斯狼的地盤，小綿羊勿入

自訂 Pig Eval Function – 型別檢查

直接繼承 EvalFunc 預設並沒有強制開發者 override 型別檢查的 functions，這會造成誤用別人所寫的 UDFs。尤其是當讀入 100 萬筆資料卻發生 100 萬次 ClassCastException 後才知道自己傳入錯的型別
繼續閱讀 →

廣告

2012/04/01 Posted by | Pig | , | 發表留言

自訂 Pig Eval Function – 基礎篇

Pig 預設提供的 functions 很少，一般常見的 utility functions 都沒有包含在內
使用自訂的 UDF 有兩種方式

  1. 利用 Pig 內建的 Dynamic Invoke function
  2. 自己寫 UDF

繼續閱讀 →

2012/03/26 Posted by | Pig | , | 發表留言

Pig Latin / SQL 對照表

很多人都是從 RDB 的程式開始寫起，在學習 Pig 的過程一定會想「SQL 裡的 xxx 功能用 Pig 應該要怎麼寫」
以下的對照表應該會對想學 Pig 的人有所幫助
繼續閱讀 →

2012/03/22 Posted by | Pig | , | 1 則迴響

Apache Pig 簡介

Hadoop 這個名詞已經越來越熱門了，但是難寫的 Mapper/Reducer 也造成很多人的進入障礙。
Pig 提供了一個 high level 的語言並轉換成 Map/Reduce 幫助大家執行大量的資料分析。
繼續閱讀 →

2012/03/22 Posted by | Pig | , | 2 則迴響