Recently in MapReduce Category

最近開始有一些廠商透過 e-mail 傳達希望協助徵才的需求,
考量職缺是促進社群蓬勃發展的另一個動力,因此代公佈兩個 Hadoop 相關職缺

一個是 JAVA Architect/Senior JAVA Developer/JAVA Developer
一個是 Java Hadoop / Nutch Developer

各職缺描述如下:

職務名稱:  JAVA Architect/Senior JAVA Developer/JAVA Developer
需求人數:  2~4人
上班地點:  台北市南港軟體園區
上班時段: 上班時間:10:00;下班時間:19:00
休假制度:  週休二日

學歷要求:  大學、碩士

外語條件:  英文(聽/精通、說/精通、讀/精通、寫/精通)


[福利制度]
(1)員工認股制度 stock options
(2)保障年薪14個月

(3)週休二日及優於勞基法的休假制度(
到職當年度可享有7天特休假)
(4)彈性上下班
(5)人性化管理

[Job Descriptioni]

Our R&D center in Taipei, Taiwan is currently looking for experienced
Java developers to join the development team of CodeSecure. The team
is comprised of talented technologies who can think outside of box and
come up with innovative approaches to complex problems.


[Required Attributes]

Professional experience designing, implementing and maintaining
complex & distributed components
A passion to develop high-quality and scalable applications that solve
people's problems
Strong object-oriented design skills and a drive to create structured,
efficient and clean code
Good sense in algorithm and data-structures

Expert-level skills in writing maintainable components in Java
Basic understanding of version control systems (SVN, Mercurial) is a plus
Able to produce good documentation for codes
Basic experience with Linux system is a plus

A result driven team player
Likes coding

Innovative, always in search for better methods to improve
productivity and quality
Keen to learn new skills to adapt business needs
Be able to think independently, coupled with good communication skills

相關網站(官網及影片介紹):
http://www.youtube.com/watch?v=G7nCLP4b6us
http://armorize-cht.blogspot.com/2010/02/caleb-sima.html
http://www.armorize.com

履歷請寄 tina at armorize dot com


職務名稱:  Java Hadoop / Nutch Developer

需求人數:  2人
上班地點:  台北市南港軟體園區
上班時段: 上班時間:10:00;下班時間:19:00
休假制度:  週休二日
學歷要求:  大學、碩士
外語條件:  英文(聽/精通、說/精通、讀/精通、寫/精通)

[福利制度]
(1)員工認股制度 stock options
(2)保障年薪14個月
(3)週休二日及優於勞基法的休假制度(到職當年度可享有7天特休假)
(4)彈性上下班
(5)人性化管理

[Job Descriptioni]

Our R&D center in Taipei, Taiwan is currently looking for experienced
Java developers to join the development team of HackAlert. We are
currently in the process of migrating part of the product onto the
Hadoop platform, to leverage the Nutch crawling engine and distributed
storage like HBase. You will also interface with dynamically created
virtual machines in the cloud.

[Required Attributes]

*Professional experience designing, implementing and maintaining
complex & distributed components
*A passion to develop high-quality and scalable applications that
solve people's problems
*Strong object-oriented design skills and a drive to create
structured, efficient and clean code
*Expert-level skills in writing maintainable components in Java
*Knowledge about distributed systems and parallel computations
desired, experiences with Hadoop/Map-Reduce a big advantage
*A deep understanding of the HTTP protocol, web crawling in general
and previous exposure to Nutch is a big advantage
*Basic understanding of distributed storage systems (Big Table, HBase..) desired
*Basic understanding of version control systems (SVN, Mercurial) is a plus
*Experience with Linux systems and basic web server maintenance and
deployments is a plus
*Experience with remote VM management a plus
*Experience with Agile Methodologies is a plus

相關網站(官網及影片介紹):
http://www.youtube.com/watch?v=G7nCLP4b6us
http://armorize-cht.blogspot.com/2010/02/caleb-sima.html
http://www.armorize.com

履歷請寄 tina at armorize dot com

工商服務一下,代某知名半導體廠貼一下職缺。

Job description:

  • Study and implement cloud computing technologies and provide proposal for critical system availability improvement for high volume data processing improvement.
  • Collaborate with project teams to pilot and promote cloud computing technologies.
Job requirement:

  • MS degree or above in computer science or related disciplines.
  • At lease 2-year experience in the Hadoop/map reduce, virtualization, grid computing or cloud computing.
  • Ability to learn and apply new technologies quickly.
  • Self motivated, good teamwork and problem solving skill.
  • Experienced in data center management  related fields is a plus.
  • Fluent English communication skill is a plus (oral and written).
工作地點:新竹

履歷資料或相關職缺問題請寄至 yytai AT tsmc DOT com
各位同學,

離開課還有幾天,終於向 Cloudera 爭取到學生特惠價 25,000
不過無論是先前的三人團報每人 39,000 或學生五人團報每人 25,000
我看過網站說明,都是必須信用卡線上付款才有這樣的優惠,而且不提供發票。
若需要發票,則維持原價每人 59,000,且必須在網站上選"Show other payment options"

cloudera_other_payment.jpg

只要(1) 具備學生身分,(2) 未來或過去寫過 Hadoop、Sqoop、Hive、Pig 等相關雲端運算論文者,
請一樣填寫這份表格,我會跟你們聯繫。

https://spreadsheets.google.com/viewform?formkey=dDNpNy1HZHhWQkI2SmhncW5Cei1xcnc6MA

- Jazz

最近巡迴演講的時候,有一些學生問我該不該參加教育訓練跟認證考試,
也提到想團報,可是卻不好找團員,所以如果有興趣,
又不想公然把 e-mail 丟上 hadoop.tw mail list  的,那填這個表吧。

https://spreadsheets.google.com/viewform?formkey=dDNpNy1HZHhWQkI2SmhncW5Cei1xcnc6MA

至於大家常問的問題,以下統一回給大家作參考:

F.A.Q.

Q1: 學生到底該不該考 Cloudera Hadoop Training and Certification?
A1: 如果沒有「長輩」贊助的話,是略嫌貴了點。
PS. 小道消息:以後可能會有純考認證的機會。如果已經面臨畢業找工作的壓力,又想提升求職競爭力,那只好自己考慮一下荷包裡的小朋友夠不夠多張了.....我會持續橋看看能不能有「學生價」....倒數兩週了....

Q2: 考 Hadoop 證照對找工作有沒有幫助?
A2: 嗯~國內很難講,國外至少在 Hadoop LinkedIn 看到很多工作機會。國內有興趣到 Yahoo, 中華電信, 趨勢的可以考慮看看。
PS. 好奇國外有哪些工作機會的請參考 LinkedIn Hadoop User Group 的 Job 版

Q3: 參加 Cloudera 紐約場次教育訓練有何心得?
A3: 教材是真的蠻扎實的,縱使我們有先翻過英文版,第二天對於企業員工來說,應該是可以解答一些心中的疑惑,像是怎麼跟資料庫整合。但第三天沒有演算法基礎的下午會有點吃力,Hadoop 初學者要有鴨子聽雷的心理建設,第一天下午就講了非常多底層實作的秘辛。
PS. 推薦 Yahoo Developer Network 的 Hadoop Tutorial

Q4: 考照難不難?
A4: ㄜ~老實說我有考,但是第一次沒有過,正在等七天後才能考第二次。線上考試,限時一個半小時,共六十題選擇。內容以 Hadoop 核心觀念為主。警告:五個答案選項會非常地模擬兩可,常常任兩個選項只差幾個英文字,基本上國外考過的都說難。

Q5: 有沒有題庫?
A5: ㄜ~(消音)如果跟大家說有,這樣就快變成考照補習班招生了~

Q6: 其他.......
A6: 推薦有機會的話,請參加 Jimmy Lin 主講的華盛頓場次,他在 MapReduce 方面很強,最近發表一本 MapReduce 的免費電子書,又是馬里蘭大學雲端運算中心的成員,是強者中的強者。

- Jazz
當今三大資料庫公司 (微軟,IBM,Oracle) 對於近年爆紅的資料處理技術 Hadoop 分別有著決然不同的反應.

SybaseTeradata 等 data warehouse 公司紛紛擁抱 Hadoop/Mapreduce 技術的時候,  很顯然的, 微軟正在抗拒著. 威斯康辛大學教授 David J. DeWitt 同時也是 Microsoft tech fellow 說 "我們不打算引入Hadoop到我們的產品當中". 他對於 Hadoop 不感興趣其實並不令人意外, DeWitt 教授是 parallel SQL databases 學術專家, 年初才和他人共同發表了一篇關於 SQL Server 仍可以在大多數的工作上擊敗MapReduce 的論文.

IBM 本身是 Apache 軟體基金會的主要贊助公司之一,不令人意外地, IBM 對 Hadoop 的發展則是樂觀其成. Anant Jhingran, IBM information management division 的 CTO 提到: "我並不是說Hadoop 融合資料庫可以解決一切問題, 但是最終每個公司將會想要擁有 Hadoop 技術, 只是不確定是以哪種形式". IBM 在實驗室進行研究開發的同時, 也正與數十家企業用戶進行相關實驗計劃.

Oracle 有可能是 Hadoop/MapReduce 崛起後最大的輸家, 不僅僅是因為它本身目前是第一大資料庫軟體廠商,也因為資料庫在延展性(Scalability)方面的名聲不佳 - 而這正是 Hadoop/MapReduce 的強項. Oracle 並未正式回應, 不過就在今年十月,它們發佈了一篇 blog 談到 "事實上我們一直以來都在用 MapReduce"



hadoop-tw.jpg


台灣 Hadoop 使用者社群會議
Hadoop Taiwan User Group Meeting 2009


繼格網運算之後,雲端運算被視為下一代資訊架構的主流。雲端運算平台 Hadoop 及雲端資料庫平台 HBaseHive 均是目前諸多雲端運算服務的基礎架構。 Cloudera 是目前全球首先提供自由軟體 Hadoop 技術支援的商業公司,本次使用者會議特別邀請來自 Cloudera Christophe Bisciglia 來跟我們分享如何運用 Hadoop 打造雲端應用程式與軟體服務,並分享自由軟體的可行商業模式:教育訓練與認證機制。此外,也邀請了國內推動Hadoop 教學、軟體開發、社群建立的幾位同好來進行知識分享,包括:台灣雅虎老魚研究室國立台灣大學資訊工程學系通訊與多媒體實驗室國家高速網路與計算中心雲端運算研究小組。希望透過此次會議,讓更多有興趣瞭解 Hadoop 的夥伴相互交流,進行凝聚出台灣區的 Hadoop 社群。
本會議不收取任何報名費用,歡迎各界踴躍參加。礙於此次會議場地座位有限,請速上網報名(http://registrano.com/events/hadoop-tw),額滿為止。
也請大家代為宣傳(議程PDF版)。

Cloud Computing is a hot research topic since year 2007. Hadoop, HBase and Hive are the key components of many cloud computing infrastructures.  Cloudera is the first company to provide technical support of Hadoop. In this workshop, we invite Christophe Bisciglia to share the experience of how to build cloud services with Hadoop and  Cloudera's open source business model - training and certification. Besides, we also invite local developers of Taiwan Hadoop communities to share their projects.
  This workshop is now free to register. Please use following URL to join this event.  http://registrano.com/events/hadoop-tw

09-10-21_Schedule_small.png


六月底用力擠出了 1-2 人的工作機會,沒想到不到一季,人力市場上針對雲端相關的職缺有長足的增加,一定是 Hadoop Taiwan User Group 的小象隊們努力推廣及爭取後的好成果,各位小象同志辛苦了,請繼續加油。

itsyou.jpg
Photo from chowjh .


這次 Yahoo! 要招募的是應屆到工作經驗三年內的熱血青年,加入雅虎後將接受一系列的基礎訓練課程及工作實習後,合格者將成為雅虎全球平台開發的一員 (參考這則新聞,不過不只是新聞平台,其它如 Social Network, E-Commerce, Search 等也包含在內)。

工作職缺在這裡 (Tech Yahoo! -Cloud Computing Program雲端工程師培訓計劃 (需求人數:不限)。

Hadoop 計畫分割

| | Comments (0) | TrackBacks (0)
應該有些人注意到前一陣子 Hadoop 決定進行計畫分割,最主要的改變是將原本 Hadoop Core 這個計畫分割為三個計畫, Hadoop Common, HDFSMapReduce. 為何要進行這樣的改變呢? 主要的原因是 Hadoop 越來越熱門了! 首先碰到問題是原先開發用的 mail listing 量暴增 , 每天都有數十個以上的 JIRA 訊息. 再來是計畫本身的 code base 也不斷的在長大 (300,000+ lines of Java) 另外就是之前有蠻多人很有興趣的部份,單獨使用 HDFS. 因此決定將原本的 Hadoop Core 分成三個計畫, 分別有各自的 svn repository , JIRA 和 mail lists. 原先使用者用的 core-user@hadoop.apache.org 更名為 common-user@, 另外對應產生了 mapreduce-user@ 和 hdfs-user@.

對於使用Hadoop上面來說, 短時間內 Stable 版本(0.18,0.19,0.20)不會有影響, 到 0.20.1 仍然會是以 single project 的方式 release. 之後每個 project 會分別有有自己的 release , 使用上將會需要同時安裝數個 packages. 同時 Configure 上也需要注意, 從 0.20 開始應該已經要把單一的 hadoop-site.xml 分開為 mapred-site 和 hdfs-site , 0.21 版之後才可繼續使用. 至於 API 方面, 從 0.20 開始 MapReduce 已經導入新的 API 但是尚未完全使用 , 將會在 0.20.1 修復完成, 同時 0.20.1 release 之後也代表了你應該準備升級你原來的程式碼了.

HadoopProjectSplit.png
Image from: Cloudera
雲端運算最近很紅,但是學會 Hadoop/MapReduce 之後,工作到底好不好找? 根據 O'Reilly Radar 蒐集美國有在網路上刊登工作機會的資料調查指出,有提到 Hadoop 或 MapReduce 的工作機會還很少,不過正逐漸穩定成長中。其中大部份 Hadoop/MapReduce 的工作機會在加州

在今年二到四月間和 Hadoop/MapReduce 有關的求才職缺比起 2008 年同期間成長了49%。如果考慮經濟衰退的因素,同一期間全美線上求才的職缺是大幅減少了40%

OReilly Radar
Image from O'Reilly Radar
前一陣子在 Hadoop mailing list 上看到有人問到說"我們要怎樣稱呼 Hadoop + HBase + Lucene + Zookeeper + etc ..比較好呢?" 孔子說的好 "必也正名乎!" , 大家都知道 Cloud Computing 是今年最火紅的 Term (其實在 Distributed computing 領域大約每十年會出現一個 buzzword), 相較今年各家廠商陸續各式各樣的 Cloud computing 產品, Apache 軟體基金會目前使用 "Apache Cloud Computing Edition" 來稱呼它 , 這名字有沿用當年頗為成功的 Java Enterprise Edition 的意思, 雖然本質是不一樣的東西, 但是強調這是個是跨語言的平臺. 目前正計畫整合更多相關的技術.

在 http://svn.apache.org/repos/asf/labs/clouds/ 可以看到目前草稿版的 slides , 其中對於為何要前進 Cloud ? 什麼是 Cloud application ? 目前該做什麼? 都有清楚簡潔的說明,想要真正了解 Cloud computing 的人不可錯過.
apache_cloud_computing_edition.jpg