September 2009 Archives

[Job] Hadoop 的工作機會又來了?

|
六月底用力擠出了 1-2 人的工作機會,沒想到不到一季,人力市場上針對雲端相關的職缺有長足的增加,一定是 Hadoop Taiwan User Group 的小象隊們努力推廣及爭取後的好成果,各位小象同志辛苦了,請繼續加油。

itsyou.jpg
Photo from chowjh .


這次 Yahoo! 要招募的是應屆到工作經驗三年內的熱血青年,加入雅虎後將接受一系列的基礎訓練課程及工作實習後,合格者將成為雅虎全球平台開發的一員 (參考這則新聞,不過不只是新聞平台,其它如 Social Network, E-Commerce, Search 等也包含在內)。

工作職缺在這裡 (Tech Yahoo! -Cloud Computing Program雲端工程師培訓計劃 (需求人數:不限)。

於 2009 年 09 月 14~15 日於國家高速網路與計算中心中部事業群
舉辦的「雲端運算基礎課程(一) Hadoop簡介、安裝與實作」首次進行實驗性課程錄影。
課程內容與課程錄影連結詳 課程網頁 或直接至 http://www.classcloud.org/media 下載
原始 vnc2swf 桌面錄影與錄音的獨立檔案。

註:由於採用 vnc2swf 錄影,桌面與聲音的同步比較差,快轉也常會失效,
  或許下次有機會再開課會考慮別的錄影方式。
  vnc2swf 的好處是桌面可以比較清晰,檔案也比較小。

Hadoop 計畫分割

|
應該有些人注意到前一陣子 Hadoop 決定進行計畫分割,最主要的改變是將原本 Hadoop Core 這個計畫分割為三個計畫, Hadoop Common, HDFSMapReduce. 為何要進行這樣的改變呢? 主要的原因是 Hadoop 越來越熱門了! 首先碰到問題是原先開發用的 mail listing 量暴增 , 每天都有數十個以上的 JIRA 訊息. 再來是計畫本身的 code base 也不斷的在長大 (300,000+ lines of Java) 另外就是之前有蠻多人很有興趣的部份,單獨使用 HDFS. 因此決定將原本的 Hadoop Core 分成三個計畫, 分別有各自的 svn repository , JIRA 和 mail lists. 原先使用者用的 core-user@hadoop.apache.org 更名為 common-user@, 另外對應產生了 mapreduce-user@ 和 hdfs-user@.

對於使用Hadoop上面來說, 短時間內 Stable 版本(0.18,0.19,0.20)不會有影響, 到 0.20.1 仍然會是以 single project 的方式 release. 之後每個 project 會分別有有自己的 release , 使用上將會需要同時安裝數個 packages. 同時 Configure 上也需要注意, 從 0.20 開始應該已經要把單一的 hadoop-site.xml 分開為 mapred-site 和 hdfs-site , 0.21 版之後才可繼續使用. 至於 API 方面, 從 0.20 開始 MapReduce 已經導入新的 API 但是尚未完全使用 , 將會在 0.20.1 修復完成, 同時 0.20.1 release 之後也代表了你應該準備升級你原來的程式碼了.

HadoopProjectSplit.png
Image from: Cloudera