Hadoop Taiwan User Group http://www.hadoop.tw/ en-US Copyright 2010 Thu, 01 Jul 2010 00:07:07 +0800 http://www.sixapart.com/movabletype/ http://www.rssboard.org/rss-specification 淺談雲端運算新趨勢與 Hadoop 平台之崛起 淺談雲端運算新趨勢與 Hadoop 平台之崛起
國家高速網路與計算中心　王耀聰

** 本文亦刊登於網管人雜誌第 53 期 ( 2010 年六月號 )

坐看風雲險中生

　　隨著網際網路的普及，各種連網裝置讓我們的生活更加地便利。然而隨著人們產生資訊的速度越來越快，數量愈來愈多，大量通訊不僅塞爆了實體的網路頻寬，無形中也正侵蝕著你我大腦的資訊頻寬。為了解決資訊爆炸所造成的困擾，順應隨時隨地連網的趨勢，替企業達成精簡資訊成本的目標，一種嶄新的軟體服務模式與資訊架構革命正以撲天蓋地之姿席捲全球，Google執行長施密特（Eric Schmidt）於2006年8月9日SES'06會議中首次使用「雲端運算（Cloud Computing）」來形容無所不在的網路服務，緊接著Amazon更以 Elastic Compute Cloud（簡稱EC2）命名其虛擬運算資源服務[1],[2]。2007年10月8日，Google與IBM發佈合作新聞稿，擬於美國境內七所大學教授如何處理海量資料的高速計算技術，從此引爆雲端運算的討論熱潮[3]。2008年時值全球金融風暴肆虐，多數人均擔心雲端運算只是一時的口號。2009年4月24日，美國國家標準局（NIST）起草雲端運算的標準定義[4]；於同年5月，歐巴馬政府更明白地在2010年度國會預算書上，指出雲端運算是重要施政重點[5]。隨即，英國、日本、韓國等亦相繼宣佈將建立政府雲端的計畫，作為振興經濟的強心針。2010年被媒體喻為台灣的雲端元年，但每當談到雲端運算，不知大家是否心中仍存著諸多疑惑，冷眼看那不同廠商各說各話。底下就讓我們細說從頭，先給大家一個關於雲端運算的正式定義、看看雲端的技術演進史，最後說明為何Hadoop這個處理海量資料的軟體平台會逐漸被國際資訊大廠所重視。

笑談雲端五四三

　　漫畫裡的呆伯特對老闆突然丟來的奇怪問題，總能用簡單的一句話敷衍過關。那麼如果要您用一句話簡單說明什麼是雲端運算，那該如何解釋呢？且讓小弟不聰贈送各位正經版與幽默版各一句來當作應對妙招，正經版可答道「雲端運算就是隨時隨地運用各種裝置來存取想要的服務」，幽默版可笑曰「雲端運算談的不外乎五四三（台語）啦～」倘若有人反譏您胡說八道，還有雲端口訣可以背得對方聽：「一個基本精神、兩個極端產業、三個服務模式、四個佈署模型、五個基礎特徵」，這不恰恰就是五四三二一嘛？！關於這雲端口訣的五四三可不是隨便說說，真是取自美國國家標準局（NIST）的雲端標準定義呢[6]！以下為各位看倌逐一說個明白。

　　所謂「五個基礎特徵」，包括：（1）隨需自助服務（On-demand self-service）、（2）隨時隨地用任何網路裝置存取（Broad network access）、（3）多人共享資源池（Resource pooling）、（4）快速重新佈署靈活度（Rapid elasticity），和（5）被監控與量測的服務（Measured Service）。這五個基礎特徵的典型代表當然是Amazon Web Service。專家們認為未來進入雲端運算的時代，每個系統管理員將不再需要擔憂採購硬體的時間與流程，而是改以租賃方式，動態地根據需求，自助啟動或關閉所負責的資訊服務，而這些服務都是透過各種網路裝置來存取。此外，由於全球不同企業共享這些軟硬體甚至人力資源，從統計與機率上，若產業異質性高，便能有效地互補彼此尖峰使用的時間，間接降低了不同企業的資訊成本。當然為了達成動態調配共享資源的目的，雲端服務供應商必須具備快速重新佈署的靈活度，好讓各種被釋放出來的資源能馬上被其他客戶使用。最後，任何雲端服務都涉及計價行為，因此所有服務必須能被監控與量測，好統計租賃的帳單金額。

　　至於「四個佈署模型」，指的是（1）公用雲端（Public Cloud）、（2）私有雲端（Private Cloud），及不常聽到的（3）社群雲端（Community Cloud）、（4）混合雲端（Hybrid Cloud）。公用雲端顧名思義就是全球一起共用某個雲端服務廠商的資源池，多半適用於資料機敏性低的新創事業或中小企業；而私有雲端則是由企業自行建置共享資源池，故任何資料機敏性高的產業都可能需要自行打造。社群雲端係指由多個組織共享資源池，故較合適具共享研究資料需求的學研單位合資建置；而混合雲端泛指混合了上述三種雲端型態，須基於標準或運用新技術來確保資料與應用程式在不同平台間的移植性。

　　關於「三個服務模式」，也可稱之為不同雲端服務商的市場區隔，分別為：（1）架構即服務（Infrastructure as a Service，IaaS）、（2）平台即服務（Platform as a Service，PaaS）與（3）軟體即服務（Software as a Service，SaaS）。Amazon EC2的服務就是典型的架構即服務，讓用戶可自行租賃所需的運算、儲存與網路資源。而Google App Engine則是典型的平台即服務，讓用戶可以在共通的平台上進行程式開發或軟體佈署。大家常用的Yahoo、Gmail、Facebook等都算是軟體即服務的範疇，過去購買套裝軟體的模式，如今已逐漸典範轉移，改依需求變化，動態地變更租賃軟體服務的授權數量，用多少付多少。從企業經營成本面來看，過去採購硬體的固定成本，如今轉變成變動營運成本，在金流調度上將更有彈性。

　　口訣最後的「兩個極端產業，一個基本精神」，談的是未來雲端將持續往兩個極端發展，一邊是雲（資料中心）的產業供應鏈，一邊是端（行動裝置）的產業供應鏈。雲的發展將是地理集中而標準化，而端的發展將是位置變異而多元化。而雲端運算之所以能融入各行各業，憑藉的是「形成網路服務」這個基本精神。惟有形成服務，才有商業行為，方能串起供需鏈，進而促進經濟的永續發展。

回顧資通六十載

　　談完雲端的五四三，相信各位已對雲端運算有比較清晰的概念。那麼雲端運算代表的是全新技術嗎？其實不然，雲端運算只是軟體演化必然的趨勢。讓我們一同回顧資通產業過去六十年的發展：1960年代運算主力是超級電腦，1970年代才有個人電腦誕生，1980年代制訂TCP/IP通訊協定，1990年初期因為有GNU自由軟體基金會與Linus的貢獻，才產生第一次高速運算革命，讓個人電腦叢集（PC Cluster）以企鵝雄兵打敗超級電腦，大幅降低運算成本，平行運算（Parallel  Computing）頓時蔚為顯學。1990年代後期網路逐漸導入金融機構，分散式物件技術才逐漸流行。演化至2000年初，SETI@Home尋找外星人計畫，向全球電腦用戶借螢幕保護的運算資源，開啟分散式運算（Distributed Computing）的新頁。隨即全球高速電腦中心起而效法分散式運算精神，提倡格網運算（Grid Computing），擬能建立虛擬組織共享全球運算資源。格網運算雖立意良善，卻因遲遲無法形成服務而難以進入產業應用。直至2006年Amazon推出 Elastic Compute Cloud（EC2）才成功地建立隨需運算服務，開啟雲端運算的序曲。

　　歷經超級電腦、平行運算、分散運算與格網運算，雲端運算繼承了平行運算的叢集技術、融合了分散運算的容錯特性，發展出「資料中心即電腦（Data Center as a Computer）」的新思維[7]。有別於格網運算將資料搬到有空閒計算資源的思維，雲端運算強調把工作丟到資料所在主機去計算。在雲端的年代，資訊人惟有不斷充實多核心、平行、分散式運算與網頁程式設計等技能，才有機會住進未來那朵大雲裡。

喜獲吉象過重山

　　看完以上的趨勢分析，或許您不禁想問：「縱使知道雲端趨勢很重要，若想打造私有雲端，下一步該做什麼呢？總是得腳踏實地，而不是空口畫雲吧～」若您想打造私有雲端，可參考如下圖中所列舉不同技術分層的自由軟體，來建置您專屬的雲端服務。目前有專家學者警告企業導入雲端不該只是採購硬體或導入虛擬化。小弟認為這只是導入雲端第一個階段，後續將視各企業屬性不同而導入平台即服務與軟體即服務的相關技術。倘若您的企業需要架構即服務，擬導入虛擬層與控制層，這裡建議的自由軟體包括：Xen、KVM、OpenNebula與Eucalyptus這幾套。若您需要建置的是資料分析的平台服務，那接下來要介紹的Hadoop與美國資料探勘中心研發的Sector/Sphere都是首選。

　　本文最後要談的是Hadoop這個海量資料分析的軟體平台，它有何特殊呢？為何Google與IBM合作教授雲端課程採用它？為何Yahoo搜尋引擎、Facebook社交網站、Last.fm網路電台、Joost網路電視等均採用它來進行資料分析呢？首先，倘若說Google是當今最能引導技術風潮的品牌，想必大家不得不同意。那麼Google的關鍵技術是什麼呢？Google有三大關鍵技術：其一是Google File System，為了提升營運容錯率，Google重新設計了一套分散式檔案系統來存放全球的網頁內容、電子郵件、照片、影片等；其二是MapReduce演算法，Google宣稱多數的資料分析都可以靠此一演算法解決；其三是BigTable分散式資料庫，Google將存在Google File System中的資料，經過MapReduce運算後，轉換成巨大的資料表，這個資料表有別於傳統關聯式資料庫，僅存放成對的Key-Value。因此，當您下達一個查詢網頁或查詢信件的動作前，Google早已將所有網頁、信件進行拆解分類存進BigTable，查詢下達時只是從BigTable查Key等於關鍵字對應的所有Value罷了。

　　然而Google的三大關鍵技術沒有原始碼或軟體可讓其他企業安裝使用，好在Google佛心來著，分別公開了Google File Ssystem、MapReduce與BigTable的三篇論文，讓Hadoop這套軟體平台的創始人Doug Cutting能參考論文，重新實作了Hadoop Distributed File System（HDFS）與MapReduce API。諸多過去無法分析的資料，如今有了Hadoop軟體平台後，都開始可以分析了。例如：電信業者如今可以分析手機在基地台漫遊的特性，提供更好的在地費率。信用卡業者如今可以每天定期分析各種信用貸款所產生的風險，動態調整信貸利率。便利超商如今可以分析消費者的購買習慣，動態調整架上存貨數量。甚至新興產業，如生醫資訊、智慧電網等都可以運用Hadoop平台來進行資料探勘與趨勢預測。若您的企業有儲存海量資料的需求，有分析海量資料的需求，或者面臨資料庫過度龐大，正在尋求分散式資料庫或資料倉儲的技術，那Hadoop或許是一個已通過商業驗證的選擇。只要懂得駕馭Hadoop這隻大象，它將能駝著您爬過一座座資料大山，幫您犁出隱藏在群眾中的邏輯。
 

open_source_for_private_cloud.png
▲　建構私有雲端運散架構的自由軟體

[1] Did Google's Eric Schmidt Coin "Cloud Computing"?
    - http://cloudcomputing.sys-con.com/node/795054/print
[2] Search Engine Strategies Conference 2006
    - http://www.google.com/press/podium/ses2006.html
[3] Google and I.B.M. Join in 'Cloud Computing' Research
    - http://www.nytimes.com/2007/10/08/technology/08cloud.html
[4] The US Federal Government defines Cloud Computing
    - http://www.elasticvapor.com/2009/05/us-federal-government-defines-cloud.html
[5] President Obama's 2010 Budget Highlights Cloud Computing
    - http://kevinljackson.blogspot.com/2009/05/president-obamas-2010-budget-highlights.html
[6] NIST Definition of Cloud Computing v15
    - http://csrc.nist.gov/groups/SNS/cloud-computing/cloud-def-v15.doc
[7] The Datacenter as a Computer
    - http://www.morganclaypool.com/doi/abs/10.2200/S00193ED1V01Y200905CAC006
]]> http://www.hadoop.tw/2010/07/trend-of-cloud-and-the-rising-hadoop.html http://www.hadoop.tw/2010/07/trend-of-cloud-and-the-rising-hadoop.html CloudComputing Hadoop BigTable Cloud computing Google File System Hadoop MapReduce Thu, 01 Jul 2010 00:07:07 +0800 [Job] 徵 Hadoop/Nutch 程式設計師 - 阿碼科技 考量職缺是促進社群蓬勃發展的另一個動力，因此代公佈兩個 Hadoop 相關職缺

一個是 JAVA Architect/Senior JAVA Developer/JAVA Developer
一個是 Java Hadoop / Nutch Developer

各職缺描述如下:

職務名稱：  JAVA Architect/Senior JAVA Developer/JAVA Developer
需求人數：  2~4人
上班地點：  台北市南港軟體園區
上班時段： 上班時間：10:00；下班時間：19:00
休假制度：  週休二日

學歷要求：  大學、碩士

外語條件：  英文(聽/精通、說/精通、讀/精通、寫/精通)


[福利制度]
(1)員工認股制度 stock options
(2)保障年薪14個月

(3)週休二日及優於勞基法的休假制度(
到職當年度可享有7天特休假)
(4)彈性上下班
(5)人性化管理

[Job Descriptioni]

Our R&D center in Taipei, Taiwan is currently looking for experienced
Java developers to join the development team of CodeSecure. The team
is comprised of talented technologies who can think outside of box and
come up with innovative approaches to complex problems.


[Required Attributes]

Professional experience designing, implementing and maintaining
complex & distributed components
A passion to develop high-quality and scalable applications that solve
people's problems
Strong object-oriented design skills and a drive to create structured,
efficient and clean code
Good sense in algorithm and data-structures

Expert-level skills in writing maintainable components in Java
Basic understanding of version control systems (SVN, Mercurial) is a plus
Able to produce good documentation for codes
Basic experience with Linux system is a plus

A result driven team player
Likes coding

Innovative, always in search for better methods to improve
productivity and quality
Keen to learn new skills to adapt business needs
Be able to think independently, coupled with good communication skills

相關網站(官網及影片介紹):
http://www.youtube.com/watch?v=G7nCLP4b6us
http://armorize-cht.blogspot.com/2010/02/caleb-sima.html
http://www.armorize.com

履歷請寄 tina at armorize dot com


職務名稱：  Java Hadoop / Nutch Developer

需求人數：  2人
上班地點：  台北市南港軟體園區
上班時段： 上班時間：10:00；下班時間：19:00
休假制度：  週休二日
學歷要求：  大學、碩士
外語條件：  英文(聽/精通、說/精通、讀/精通、寫/精通)

[福利制度]
(1)員工認股制度 stock options
(2)保障年薪14個月
(3)週休二日及優於勞基法的休假制度(到職當年度可享有7天特休假)
(4)彈性上下班
(5)人性化管理

[Job Descriptioni]

Our R&D center in Taipei, Taiwan is currently looking for experienced
Java developers to join the development team of HackAlert. We are
currently in the process of migrating part of the product onto the
Hadoop platform, to leverage the Nutch crawling engine and distributed
storage like HBase. You will also interface with dynamically created
virtual machines in the cloud.

[Required Attributes]

*Professional experience designing, implementing and maintaining
complex & distributed components
*A passion to develop high-quality and scalable applications that
solve people's problems
*Strong object-oriented design skills and a drive to create
structured, efficient and clean code
*Expert-level skills in writing maintainable components in Java
*Knowledge about distributed systems and parallel computations
desired, experiences with Hadoop/Map-Reduce a big advantage
*A deep understanding of the HTTP protocol, web crawling in general
and previous exposure to Nutch is a big advantage
*Basic understanding of distributed storage systems (Big Table, HBase..) desired
*Basic understanding of version control systems (SVN, Mercurial) is a plus
*Experience with Linux systems and basic web server maintenance and
deployments is a plus
*Experience with remote VM management a plus
*Experience with Agile Methodologies is a plus

相關網站(官網及影片介紹):
http://www.youtube.com/watch?v=G7nCLP4b6us
http://armorize-cht.blogspot.com/2010/02/caleb-sima.html
http://www.armorize.com

履歷請寄 tina at armorize dot com

]]> http://www.hadoop.tw/2010/06/job-hadoopnutch.html http://www.hadoop.tw/2010/06/job-hadoopnutch.html CloudComputing Hadoop MapReduce Hadoop MapReduce nutch Security Tue, 01 Jun 2010 21:13:47 +0800 [Job] Hadoop 工作機會 - 徵程式設計師
Job description:

  • Study and implement cloud computing technologies and provide proposal for critical system availability improvement for high volume data processing improvement.
  • Collaborate with project teams to pilot and promote cloud computing technologies.
Job requirement:

  • MS degree or above in computer science or related disciplines.
  • At lease 2-year experience in the Hadoop/map reduce, virtualization, grid computing or cloud computing.
  • Ability to learn and apply new technologies quickly.
  • Self motivated, good teamwork and problem solving skill.
  • Experienced in data center management  related fields is a plus.
  • Fluent English communication skill is a plus (oral and written).
工作地點：新竹

履歷資料或相關職缺問題請寄至 yytai AT tsmc DOT com]]> http://www.hadoop.tw/2010/05/hadoop-job-20100526.html http://www.hadoop.tw/2010/05/hadoop-job-20100526.html CloudComputing HBase Hadoop MapReduce Cloud computing Hadoop MapReduce Virtualization Wed, 26 May 2010 17:52:34 +0800 「雲端運算與應用」系列演講(五)﹔雲端分散式資料庫 Apache HBase 「雲端運算與應用」系列演講(五)
雲端分散式資料庫 Apache HBase
"Cloud Computing and its Application" lecture series:
Apache HBase

   資料庫應用對於資訊產業已是不容或缺的一環，但隨著資料巨幅地成長，傳統關聯式資料庫將面臨無法持續擴充的效能瓶頸。知名雲端服務提供者谷歌（Google）針對大量資料的儲存、分析與查詢，分別提出 Google File System 分散式檔案系統、MapReduce 演算法與 Big Table 分散式資料庫。Apache 基金會的 Hadoop 專案實作了前兩者，而 HBase 則基於 Hadoop，提供分散式資料庫的解決方案。此次演講很榮幸邀請到現任趨勢科技資深軟體架構師，也是 HBase 專案關鍵貢獻者(Commitor)的 Andrew Purtell 來為大家介紹 Apache HBase 專案的近期發展，歡迎對於雲端分散式資料庫系統感興趣的同好踴躍參加。

   Andrew Purtell is a Senior Architect at Trend Micro. He has been a committing member of the Apache HBase project since 2008. Andrew has been a research engineer involved with leading edge technologies for more than 10 years, including large scale distributed systems, Internet technologies, and operating systems.

   In this talk, we will discuss the current state of Apache HBase and its capabilities and also what is upcoming in the near future, such as Improved data durability (with HDFS-200), Clearly defined ACID properties spec (and tests), Discretionary access control, Multi data center replication, etc.

13:30~15:00 講 題：Apache HBase
講 者：Andrew Purtell, Senior Architect of Trend Micro
15:00~15:30 Q & A


註：響應政府儉樸原則，本活動不提供餐點，敬請見諒。

]]> http://www.hadoop.tw/2010/04/cloudtalk20100426.html http://www.hadoop.tw/2010/04/cloudtalk20100426.html Fri, 23 Apr 2010 04:40:59 +0800 Pig Latin ── Language for Large Data Processing 這裡要介紹一種分析龐大資料的語言：Pig Latin。Pig 是一個 Hadoop 的子計劃。底下假設大家對 Map-Reduce 和 SQL 有基本的認識，但沒有也不要緊，我從一個例子談起。

 

任務！

假設我們有一份使用者和年齡的資料，以及一份他們去過哪些網站的記錄：

  pig_sampleinput_new.PNG這資料很大很大，放在 hadoop 上面。如果想要知道「18歲到25歲的使用者看的百大網站」，該怎麼做呢？

在 Hadoop 上寫程式解決問題有很多方式：可以用 native API 寫 Map-Reduce 或者用 streaming。在這裡要介紹的是另一種方式 ── 利用 Pig。

如果用 Pig ，你只需把這短短的程式碼存起來：

pig_samplecode_new.PNG然後在命令列下打 pig myscript.pig 執行後就解決了。這程式碼有沒有感覺和 SQL 有點像呢！這就是 Pig 的特色。

 

pig_stack.PNGPig 是什麼？

稍微精確一點地說，上面看到的程式語言叫做 Pig Latin 。我們可以用 Pig 這個系統，把 Pig Latin 語言翻譯成 Map-Reduce 的樣子並且讓 Hadoop 來執行。

Pig Latin 是專門設計來做大量資料分析的語言。雖然分析有百百種，不過 Pig Latin 挑選大家常會用的操作變成指令，例如 GROUP、FILTER、JOIN 等等，和 SQL 很類似。如果要在 Hadoop 上對資料進行這一類的處理，Pig Latin 是個可以考慮的工具。

 

Pig 好玩嗎？

Pig Latin 具有下面的特點：

資料承載擴充性高

Pig Latin 設計理念是能在多台機器上平行執行的語言 ── 例如在 Hadoop 平台上。Pig 的運算指令都是挑選過，適合平行運算的才納入。即使資料越來越大，對於撰寫 Pig Latin 的人來說是完全透明的，並不會感受到任何影響（就像上面的範例程式，你不會看到資料要去哪幾台拿，運算要分散到哪些機器上算）。

功能彈性

Pig Latin 和 SQL 類似，是由一些高階抽象的指令組合而成，如果拿語言本身與 C, Java 相比並不能說有彈性。但 Pig 有兩個很重要的進階功能，讓大家在處理問題的時候更有彈性：一個是 User-defined Functions (UDF，使用者定義函式)，另一個是 Embedded Pig (內嵌式 Pig)。前者讓你用 Java 寫比較複雜的函式，然後在你的 Pig 主程式裡使用之。後者則是相反，讓你能在你的 Java 主程式內嵌執行一些 Pig 的指令（就如在 php 裡執行 MySQL 一樣）

 

我們把 native API 寫 map-reduce 和 Pig 相比較的話：

Map-Reduce
using native API		 Pig
嶄新的思維，運算邏輯分成一段段的 mapper/reducer 很像 SQL，把複雜的 Map-Reduce 思維隱藏起來。擷取程序性語言（如 C, php）一步一步做的形式，和 SQL 複合子句的形態相比又更直覺些
物件多、程式碼長 程式碼短
許多物件要維護，流程隱藏在多組的 mapper/reducer 程式易讀，從程式就可以看出整個執行的流程
花額外心力在初始化、資料型態、物件定義等等 專心在資料處理本身

上面的比較並不是絕對的：跟問題的本質、開發者的習慣、熟練度等等也很有關，但一般來說，Pig 具有容易學、開發快、好維護等特性。

 

講了這麼多 Pig 的好處，那到底該怎麼寫呢？關於 Pig Latin 的語法將會有另一篇文章來介紹，讓大家更了解 Pig，更了解一個強大的工具。

 

參考連結

Pig website: http://hadoop.apache.org/pig/

Pig paper: http://www.cs.cmu.edu/~olston/publications/sigmod08.pdf

]]> http://www.hadoop.tw/2010/04/pig.html http://www.hadoop.tw/2010/04/pig.html Hadoop pig latin Wed, 14 Apr 2010 15:34:46 +0800 2010/04/20 pomsets 雲端工作流程管理分享 「雲端運算與應用」系列演講(四)
pomsets 雲端工作流程管理分享
"Cloud Computing and its Application" lecture series:
pomsets : Workflow management
for your cloud

    當雲端運算遇上動畫製作，會激盪出什麼樣的火花呢？工作流程管理在雲端運算架構中，是蠻容易被忽 略的一個組成元件。然而，若是對Amazon Web Service 夠熟悉的話，會發現在 Amazon 提供的服務中，也有一些與流程管理有關，如：Amazon SQS (Simple Queue Service)、Amazon SNS (Simple Notification Service)。此次演講很榮幸邀請到 Nephosity 的創辦人 Michael Pan 來為我們介紹 pomsets 這套軟體（非商業用途為 GPL 授權），Michael Pan 擁有豐富的分散式運算工作經驗，更曾參與史瑞克三、功夫熊貓、馴龍高手、史瑞克：快樂 4 神仙等動畫製作。歡迎有興趣了解雲端工作流程管理的自由雲端同好踴躍參加。

    Workflow management is the design, specification, and coordinated execution of jobs and their dependencies necessary to perform some computing task. It is an important, yet unaddressed component of the cloud computing software stack.

    In this talk, we begin by explaining the motivation for workflow management. To address the problem at hand, we introduce pomsets, a cloud enabled workflow management system. After a brief introduction of its features, we will use a live demonstration. If time permits, we will present an actual use case and provide statistics on how pomsets reduces computation in a real life application.

15:00~15:10　 引言
15:10~16:30　 講題：pomsets: Workflow management
　　　for your cloud
講者：Michael Pan, CEO of Nephosity
16:30~16:40　 Q & A

註：響應政府儉樸原則，本活動不提供餐點，敬請見諒。 ]]> http://www.hadoop.tw/2010/04/20100420-pomsets.html http://www.hadoop.tw/2010/04/20100420-pomsets.html CloudComputing Cloud computing Tue, 13 Apr 2010 17:36:36 +0800 [學生五人團報價 2萬5千] Cloudera Hadoop Training and Certification 台北場次
離開課還有幾天，終於向 Cloudera 爭取到學生特惠價 25,000
不過無論是先前的三人團報每人 39,000 或學生五人團報每人 25,000
我看過網站說明，都是必須信用卡線上付款才有這樣的優惠，而且不提供發票。
若需要發票，則維持原價每人 59,000，且必須在網站上選"Show other payment options"

cloudera_other_payment.jpg

只要(1) 具備學生身分，(2) 未來或過去寫過 Hadoop、Sqoop、Hive、Pig 等相關雲端運算論文者，
請一樣填寫這份表格，我會跟你們聯繫。

https://spreadsheets.google.com/viewform?formkey=dDNpNy1HZHhWQkI2SmhncW5Cei1xcnc6MA

- Jazz

]]> http://www.hadoop.tw/2010/04/-25-cloudera-hadoop-training-a.html http://www.hadoop.tw/2010/04/-25-cloudera-hadoop-training-a.html CloudComputing Hadoop MapReduce Cloudera Hadoop Hive pig latin Sqoop Thu, 08 Apr 2010 22:22:56 +0800 [揪團] Cloudera Hadoop Training and Certification 台北場次 也提到想團報，可是卻不好找團員，所以如果有興趣，
又不想公然把 e-mail 丟上 hadoop.tw mail list  的，那填這個表吧。

https://spreadsheets.google.com/viewform?formkey=dDNpNy1HZHhWQkI2SmhncW5Cei1xcnc6MA

至於大家常問的問題，以下統一回給大家作參考：

F.A.Q.

Q1: 學生到底該不該考 Cloudera Hadoop Training and Certification？
A1: 如果沒有「長輩」贊助的話，是略嫌貴了點。
PS. 小道消息：以後可能會有純考認證的機會。如果已經面臨畢業找工作的壓力，又想提升求職競爭力，那只好自己考慮一下荷包裡的小朋友夠不夠多張了.....我會持續橋看看能不能有「學生價」....倒數兩週了....

Q2: 考 Hadoop 證照對找工作有沒有幫助？
A2: 嗯～國內很難講，國外至少在 Hadoop LinkedIn 看到很多工作機會。國內有興趣到 Yahoo, 中華電信, 趨勢的可以考慮看看。
PS. 好奇國外有哪些工作機會的請參考 LinkedIn Hadoop User Group 的 Job 版

Q3: 參加 Cloudera 紐約場次教育訓練有何心得？
A3: 教材是真的蠻扎實的，縱使我們有先翻過英文版，第二天對於企業員工來說，應該是可以解答一些心中的疑惑，像是怎麼跟資料庫整合。但第三天沒有演算法基礎的下午會有點吃力，Hadoop 初學者要有鴨子聽雷的心理建設，第一天下午就講了非常多底層實作的秘辛。
PS. 推薦 Yahoo Developer Network 的 Hadoop Tutorial

Q4: 考照難不難？
A4: ㄜ～老實說我有考，但是第一次沒有過，正在等七天後才能考第二次。線上考試，限時一個半小時，共六十題選擇。內容以 Hadoop 核心觀念為主。警告：五個答案選項會非常地模擬兩可，常常任兩個選項只差幾個英文字，基本上國外考過的都說難。

Q5: 有沒有題庫？
A5: ㄜ～（消音）如果跟大家說有，這樣就快變成考照補習班招生了～

Q6: 其他.......
A6: 推薦有機會的話，請參加 Jimmy Lin 主講的華盛頓場次，他在 MapReduce 方面很強，最近發表一本 MapReduce 的免費電子書，又是馬里蘭大學雲端運算中心的成員，是強者中的強者。

- Jazz
]]> http://www.hadoop.tw/2010/03/-cloudera-hadoop-training-and.html http://www.hadoop.tw/2010/03/-cloudera-hadoop-training-and.html CloudComputing HBase Hadoop MapReduce Hadoop Hive MapReduce Pig Sqoop Tue, 30 Mar 2010 00:44:33 +0800 「雲端運算與應用」系列演講(三) 台灣昇陽雲端經驗與自由軟體分享 現在就報名


「雲端運算與應用」系列演講(三)
台灣昇陽雲端經驗與自由軟體分享
"Cloud Computing and its Application" lecture series:
Introduction to Sun UniCloud,
OpenSolaris and ZFS

一 二三四五，上山打老虎。虎年的三月三日星期三下午三點三十三分三十三秒，你知道該做什麼呢？聽某命理老師說那天可以迎財神喔～歡迎一起到大肚山腳下的國網 中心 3D 劇場聽 Sun 教大家怎麼從雲裡把財神請回家，讓我們一起聽聽昇陽的自由軟體如何東山再起。本次演講很榮幸邀請到台灣昇陽的三位高手來進行分享，此次會議不收取任何報名 費用，歡迎各界踴躍參加。礙於場地座位有限，請速上網報名，額滿為止。也請大家代為宣傳(附上海報圖檔供轉貼)。

15:33~16:10 講題：A Practice of Cloud Computing for HPC
　　　and Other Applications
講者：台灣昇陽　黃俊堯　Mathew Huang
16:10~16:20 Q&A -- 中場休息
16:20~16:50 講題：A Introduction to OpenSolaris
講者：台灣昇陽　李忠潁　Eric Li
16:50~17:00Q&A -- 中場休息
17:00~17:30講題：ZFS: The File System for the Future
講者：台灣昇陽　吳宏彬　Ben Wu
17:30~17:40Q&A -- 結束

]]> http://www.hadoop.tw/2010/02/cloudtalk20100303.html http://www.hadoop.tw/2010/02/cloudtalk20100303.html CloudComputing OpenSolaris UniCloud ZFS Tue, 23 Feb 2010 21:09:26 +0800 Cloudera Hadoop Training in Taipei
好消息，由於大家熱烈地投票，Cloudera 決定來台灣舉辦教育訓練與認證。
有打算要考 Hadoop 認證的社群朋友們，請找金主支援考照。（雖然已經比美國便宜一半了）

Cloudera Hadoop Training in Taipei


Greetings from Cloudera! We hope you had a joyous New Year celebration.

You recently filled out a survey expressing interest in Hadoop
training in Taipei.

We are happy to offer a 3 day developer training session in Taipei on
April 12-14: http://www.eventbrite.com/event/571870480

To support the local community, we are offering an incredible discount
for individuals who pay with their credit card (about 50%). We are
also happy to invoice your company at our standard rate.

If you would like to consider a private session for groups over 20
people, please let me know, as we may be able to stay in Taipei for an
extra week.

Cheers,
Christophe ]]> http://www.hadoop.tw/2010/02/cloudera-hadoop-training-in-ta.html http://www.hadoop.tw/2010/02/cloudera-hadoop-training-in-ta.html CloudComputing Hadoop CCHD Cloudera Hadoop Tue, 23 Feb 2010 20:56:50 +0800 [FYI] 自行編譯出Hadoop 0.20.1+ Eclipse Plugin
不過問題是，該plugin 並沒有說明適用於哪個eclipse 版本，因此某些版本的eclipse用了該套件會有某些功能無法運作的情況（如：run on hadoop 按鈕無法使用）。更何況，hadoop 0.20.1 以後，hadoop_home/contrib/目錄下已經沒有 eclipse-plugin 可以用了，開發者的目的應該就是要各位自己編譯產生吧？

但自行編譯產生出eclipse plugin 需要一些KnowHow，偷懶的方法可以1. 用hadoop 0.20.0 的plugin 2. 用別人已經編譯好放在網路上的plugin 。   不過問題回過頭來，eclipse 版本不正確還是會導致某些功能無法使用。

若你已經準備好要自己編譯 hadoop eclipse plugin ，可以看這篇
http://trac.nchc.org.tw/cloud/wiki/waue/2010/0211

]]> http://www.hadoop.tw/2010/02/fyi-hadoop-0201-eclipse-plugin.html http://www.hadoop.tw/2010/02/fyi-hadoop-0201-eclipse-plugin.html Hadoop Fri, 12 Feb 2010 18:46:17 +0800 國網中心雲端運算基礎課程(一)：Hadoop簡介、安裝與範例實作 - 3/3~3/4
上課時間： 2010/3/3 (三)  ～  2010/3/4 (四)     09:30 ～ 16:30

上課地點： 國家高速網路與計算中心 中部事業群　電腦教室 A
　　　　　　　(40763 台中市中部科學工業園區科園路22號) <地圖>

報名費用：一般人士　2000 元
　　　　　　　學　　生　1000 元

參加對象：接觸過Linux，並有物件導向程式語言基礎者為佳。

詳細資訊：報名網頁與課程規劃
]]> http://www.hadoop.tw/2010/02/hadoop-3334.html http://www.hadoop.tw/2010/02/hadoop-3334.html CloudComputing Hadoop Thu, 11 Feb 2010 20:26:30 +0800 「雲端運算與應用」系列演講(二) 台灣微軟 Azure 雲端平台與 Hyper-V 虛擬化技術

「雲端運算與應用」系列演講(二)
台灣微軟 Azure 雲端平台
與 Hyper-V 虛擬化技術
"Cloud Computing and its Application" lecture series:
Microsoft Windows Azure Platform
and Hyper-V Virtualization Technology

   根 據目前雲端運算的分類，大致可分為公用雲端(Public Cloud)與私有雲端(Private Cloud)兩種。談到公用雲端，除了最早發難的 Amazon EC2/S3，以及 Google App Engine，微軟的 Azure 平台更不容忽視。想了解微軟 Azure 可以提供什麼樣的雲端服務嗎？想了解 Hyper-V、VMWare 與 Xen 的差異嗎？本次演講很榮幸邀請到台灣微軟的兩位達人來為我們解惑，敬邀各界踴躍與會討論。此本會議不收取任何報名費用，歡迎各界踴躍參加。礙於此次會議場地座位有限，請速上網報名，額滿為止。也請大家代為宣傳。
13:30~14:20 講題：微軟 Azure 雲端平台解決方案現況
講者：李匡正　Tom Lee
　　　Architect Evangelist, 台灣微軟
14:20~14:40 Q&A -- 中場休息
14:40~15:30 講題：微軟 Hyper-V 虛擬化技術簡介
講者：Robert Hu
　　　台灣微軟
15:30~15:40Q&A -- 結束

註一：響應政府儉樸原則，本活動不提供餐點，敬請見諒。  ]]> http://www.hadoop.tw/2010/02/cloudtalk20100224.html http://www.hadoop.tw/2010/02/cloudtalk20100224.html CloudComputing Azure Cloud computing Hyper-V Virtualization Thu, 11 Feb 2010 01:12:39 +0800 「雲端運算與應用」系列演講(一) 雲端運算於地理資訊系統之應用 「雲端運算與應用」系列演講(一)
雲端運算於地理資訊系統之應用
"Cloud Computing and its Application" lecture series:
Cloud Applications for
Geographic Information System (GIS)

   地理資訊系統(Geographic Information Syste，GIS)必須整合各項相關地理資訊化及資料庫，範圍涵蓋資料擷取、編修、更新、儲存、查詢、處理、分析及展示等功能。由於所需儲存與分析的資料量相當龐雜，非常需要導入雲端運算海量資料處理的技術。此次演講很榮幸邀請到在開放式地理空間協會(Open Geospatial Consortium，OGC)十分活躍的逢甲地理資訊中心來為我們介紹目前在地理資訊系統方面的成果與未來展望。此本會議不收取任何報名費用，歡迎各界踴躍參加。礙於此次會議場地座位有限，請速上網報名（http://registrano.com/events/cloudtalk20100210），額滿為止。也請大家代為宣傳。
10:00~10:40 講題：逢甲地理資訊中心近期成果簡介與未來展望
講者：衷嵐焜
　　　逢甲大學地理資訊系統研究中心 研發部經理
10:40~11:10 講題：當企鵝龍遇上小飛象
　　　─ 國網中心 Hadoop 實驗叢集簡介
講者：王耀聰
　　　國網中心 格網技術組 副研究員
11:10~12:00 小型座談會 ─ 談 Hadoop 與 GIS 之可能合作議題

註一：響應政府儉樸原則，本活動不提供餐點，敬請見諒。
註二：第二場演講預計二月二十四日下午一點半開始，邀請台灣微軟介紹 Arzure 平台與 Hyper-V 虛擬化技術。 ]]> http://www.hadoop.tw/2010/02/cloudtalk20100210.html http://www.hadoop.tw/2010/02/cloudtalk20100210.html CloudComputing Hadoop Cloud Application Cloud computing GIS Hadoop Tue, 09 Feb 2010 19:47:46 +0800 [調查] 台灣區 Cloudera 教育訓練與認證考試 他們目前正在評估要在亞洲的哪裡開辦課程與認證考試，有興趣的可以去填一下問卷。
如果台北人數夠多，或許他們會考慮來台灣辦。

Hadoop Fans,

Over the next year, you'll see new options for Hadoop training and
certification from Cloudera. One of the first things you'll see will
be live sessions outside the US, tentatively planned for the April /
May time frame.

We've seen strong interest in Hadoop on all of our international
trips, so we'd like to ask for community input as we decide exactly
which cities to visit next. For cities we come to, we'll offer our 3
day developer training + certification, and with sufficient interest,
we may also include a 1 day training + certification program for
system administrators.

If you are interested in attending one or both of these sessions,
please fill out a brief survey (link below). If you're using Hadoop at
work, and it's time to train more of your team, you can let us know
how large of a group you have. Survey responses aren't a commitment to
attend, but we may reach out to respondents before we schedule a
session to get a better understanding of actual attendance.

You can fill out survey here: http://www.surveymonkey.com/s/MKGZHG9

If you have any trouble with the survey, or are interested in a
private training session, please don't hesitate to reach out directly.

Cheers,
Christophe]]> http://www.hadoop.tw/2010/01/-cloudera.html http://www.hadoop.tw/2010/01/-cloudera.html Hadoop Fri, 29 Jan 2010 01:44:29 +0800