Recently in MapReduce Category

> Job description:

  1. Study and implement cloud computing technologies.
  2. Collaborate with project teams to pilot and promote cloud computing
     technologies.
  3. Develop semiconductor manufacturing and engineering related
applications.

> Job requirement:

  1. MS degree or above in computer science or related disciplines.
  2. At lease 2-year experience in the Hadoop BigData/MapReduce and Java
programming.
  3. Ability to learn and apply new technologies quickly.
  4. Self motivated, good teamwork and problem solving skill.
  5. Fluent English communication skill is a plus (oral and written).
  6. Location is at Tainan

工作地點: 台南
履歷資料請寄 ylchange@tsmc.com

<< 第二屆台灣 Hadoop 使用者社群會議     |   >>


 

第三屆台灣 Hadoop 使用者社群會議 
Hadoop Taiwan User Group Meeting 2011


按這裡填寫報名資訊


   2010 年被譽為台灣雲端元年,2011 年我們看到雲端風潮開始在台灣各行各業持續發酵,其中大量資料分析技術(Big Data)更被 Gartner 視為 2012 關鍵 IT 策略技術之一。Hadoop 在大量資料分析技術中媒體曝光率最高的雲端技術,Hadoop 生態系專案經過六年的醞釀,近期 Hadoop 相關的新創公司如雨後春筍般快速冒出,相信對於已經在使用 Hadoop 的開發者們無疑是劑強心針。2010 年感謝國內 Hadoop 使用者社群的踴躍支持,克服交通不便的障礙,熱情地參與第二屆台灣 Hadoop 使用者社群會議,讓我們倍感榮幸。今年感謝有工研院服務業科技應用中心產業經濟與趨勢研究中心委託我們進行 Hadoop 與雲端運算相關專案。秉持取之於自由軟體,用之於自由軟體的精神,我們今年依慣例將委託金額部份挪出來辦此次活動,希望可以藉此次活動能讓各位聽到更多台灣本土 Hadoop 新奇應用、讓大家了解最近有哪些新的 Hadoop 技術或服務可以使用。

   由於資料庫應用在傳統資訊系統扮演非常重要的角色,加上 Hadoop MapReduce 已整合進微軟的 SQL Server ,連 Oracle 都有類似的整合計畫。因此今年無獨有偶,多數講者都在談論資料庫系統與 Hadoop 的整合。今年的講者群陣容相當堅強,分佈於產、學、研各界,包括:EMC Greenplum中華電信研究所東海大學高效能計算實驗室逢甲大學地理資訊系統研究中心國網中心雲端運算研究小組。希望透過此次會議,讓更多有興趣瞭解 Hadoop 的夥伴相互交流,進行凝聚出台灣區的 Hadoop 社群。

    本會議不收取任何報名費用,歡迎各界踴躍參加。礙於此次會議場地座位有限,請速上網報名(http://registrano.com/events/hadoop-tw-2011),額滿為止。

    本次會議感謝中華電信、EMC Greenplum、CIO IT 經理人雜誌、iThome 電腦報週刊贊助展示攤位與週刊雜誌,主辦單位國網中心方面亦提供 14 本「Hadoop 技術手冊, 2/e」繁體中文版給每場講者贈送問問題的聽眾。歡迎大家踴躍報名~


議程


09:00 ~ 09:20 報  到 (Registration)
09:20 ~ 09:30 大會開場致詞
09:30 ~ 10:10 講 題:Hadoop大資料處理解決方案 - 資料處理流程應用服務
講 者:洪子翔,中華電信研究所 經營策略研究室 助理研究員
10:20 ~ 11:00 講 題:Riak applied: case studies on distributed computing
講 者:Fyodor Yarochkin,台灣大學/阿碼科技(Armorize)
11:10 ~ 11:50 講 題:Greenplum 整合分析平台 - 以 Recruit Japan 經驗為例
Greenplum Unified Analytical Platform - Recruit Japan Case Study

講 者:Jimmy Chiu 邱垂吉,EMC Greenplum 技術顧問
12:00 ~ 13:00 午  餐 (Lunch) / 大會供應餐盒
13:00 ~ 13:40 講 題:HBASE 於海量級資料之應用 - 以 SELENE 之多光譜感測器為例
講 者:辜文元,逢甲大學地理資訊系統研究中心
13:50 ~ 14:30 講 題:大資料寫入 HBase 案例探討 ─ 以警政監控案與轉動台灣案為例
講 者:黃至德,中華電信研究所寬頻網路技術研究室
14:40 ~ 15:20 講 題:雲端計算平台上醫療影像檔案存取系統
講 者:楊朝棟,東海大學資訊工程學系
15:30 ~ 16:10 講 題:運用抓抓龍(Crawlzilla)製作個人化書籤搜尋引擎
講 者:王耀聰,國家高速網路與計算中心 副研究員
16:20 ~ 16:40 EMC Greenplum 實作展示

交通資訊


  • 開車路線(到達目的地後請跟警衛換證)  
  1. 華江大橋文化路一段左轉漢生東路左轉區運路左轉民族路電信訓練所   
  2. 華翠大橋、萬板大橋縣民大道二段左轉漢生東路左轉區運路左轉民族路電信訓練所  
  3. 光復大橋板橋中山路一段左轉漢生東路左轉區運路左轉民族路電信訓練所  
  4. 中永和可經華中橋、中正橋中和中山路一段三段板橋民族路區運路口迴轉電信訓練所  
  5. 北二高北上請於土城交流道 接台65號快速道路往板橋縣民大道右轉民權路左轉民族路電信訓練所
  6. 北二高南下請於中和交流道下閘道左轉中和中山路二段中和中山路三段板橋民族路區運路迴轉電信訓練所
  • 搭捷運火車、高鐵(三鐵共構)後轉搭公車至訓練所

       捷運板南線於板橋站下車,搭火車、高鐵於板橋站下車步行至捷運二號出口出站,於公車轉運站乘坐307台北方向(下一站即是電信訓練所站,到電信訓練所站下車步行至民族路168號到訓練所大門(約70公尺)

  • 搭捷運火車、高鐵(三鐵共構)後步行至訓練所

 搭捷運板南線於板橋站下車,搭火車、高鐵於板橋站下車步行往新北市府地下通道搭手扶梯上平面道路(5分鍾)過馬路到對面遠百後往新北市消防局方向走路過天皇精緻料理沿華南銀行花旗銀行騎樓直走到民族路.過馬路到中華電信板橋營運處 (民族路166) 步行至民族路168號到訓練所大門(約70公尺)


EMC2

活動日期 : 2011年11/29 & 11/30

...
隨著各種雲端服務興起,暴增的非結構性資料使得企業資料中心對於運算能力及儲存空間的需求也隨之驚人成長。

目前最具代表性的儲存處理及資料庫平台非Hadoop和MapReduce莫屬。它是開源碼平台,發展脈絡和Linux類似,由具整合研發能力的企業開發整合套件,強化運算資源及儲存空間的使用效率,並提供可靠的維運服務,讓服務開發人員能有更便利的開發環境,提升現實世界中多采多姿的應用效益。Hadoop 與MapReduce技術的入門課程中,除了對Hadoop詳細解說之外,更著重於實作開發及實作練習,帶您進入雲端資料處理技術的未來趨勢!

誠摯地歡迎您立即前來體驗!



活動議程
2011年11月29日
09:00-09:30 來賓報到
09:30-10:15 Big Data 的策略分析技術- Greenplum UAP & Hadoop Background
10:15-10:30 中場休息
10:30-12:00 Big Data 的存放技術A Single File System- Hadoop Distributed File System (HDFS™)
12:00-13:30 午餐時間
13:30-14:30 Big Data 的處理架構- MapReduce
14:30-14:45 中場休息
14:45-17:00 實作練習- 1. EMC Hadoop Community 安裝及設定
2. Eclipse MapReduce Development Demo:Wordcount
 
2011年11月30日
09:00-09:30 來賓報到
09:30-10:15 Hadoop 的資料庫 Hbase 介紹
10:15-10:30 中場休息
10:30-12:00 Hadoop 的分散式資料倉儲 Hive 介紹
12:00-13:30 午餐時間
13:30-14:30 Big Data 的資料流語言以及執行環境 Pig 介紹
14:30-17:00 實作練習- Hive Exercise / Pig Exercise


主講人:李崴 EMC Greenplum 技術顧問

參加對象:資料分析/技術人員 (具備Linux、Java程式語言能力與網路基礎概念者佳。)
注意事項:請自備筆電 (3-4GB RAM和 至少20GB的可用空間) & VMplayer,以便進行安裝實作。

報名資訊
諮詢專線:(02) 2767-2818 分機16 吳小姐 PML2@pml.com.tw

活動地點:EMC Solution Center -台北市信義路五段7號57樓AB室(台北101)

注意事項:此為免費課程,座位有限,額滿為止。

*請參加學員攜帶個人名片以便報到程序,謝謝!
參加好禮
 
現場問券回覆好禮 精美實用小禮物
 
        Facebook   Twitter   YouTube   Flickr        

 

第三屆台灣 Hadoop 使用者社群會議 
Hadoop Taiwan User Group Meeting 2011


按這裡填寫報名資訊



   2010 年被譽為台灣雲端元年,2011 年我們看到雲端風潮開始在台灣各行各業持續發酵,其中大量資料分析技術(Big Data)更被 Gartner 視為 2012 關鍵 IT 策略技術之一。Hadoop 在大量資料分析技術中媒體曝光率最高的雲端技術,Hadoop 生態系專案經過四年的醞釀,近期 Hadoop 相關的新創公司如雨後春筍般快速冒出,相信對於已經在使用 Hadoop 的開發者們無疑是劑強心針。2010 年感謝國內 Hadoop 使用者社群的踴躍支持,克服交通不便的障礙,熱情地參與第二屆台灣 Hadoop 使用者社群會議,讓我們倍感榮幸。今年感謝有工研院服務業科技應用中心產業經濟與趨勢研究中心委託我們進行 Hadoop 與雲端運算相關專案。秉持取之於自由軟體,用之於自由軟體的精神,我們今年依慣例將委託金額部份挪出來辦此次活動,希望可以藉此次活動能讓各位聽到更多台灣本土 Hadoop 新奇應用、讓大家了解最近有哪些新的 Hadoop 技術或服務可以使用。

   由於資料庫應用在傳統資訊系統扮演非常重要的角色,加上 Hadoop MapReduce 已整合進微軟的 SQL Server ,連 Oracle 都有類似的整合計畫。因此今年無獨有偶,多數講者都在談論資料庫系統與 Hadoop 的整合。今年的講者群陣容相當堅強,分佈於產、學、研各界,包括:EMC Greenplum中華電信研究所東海大學高效能計算實驗室逢甲大學地理資訊系統研究中心國網中心雲端運算研究小組。希望透過此次會議,讓更多有興趣瞭解 Hadoop 的夥伴相互交流,進行凝聚出台灣區的 Hadoop 社群。

    本會議不收取任何報名費用,歡迎各界踴躍參加。礙於此次會議場地座位有限,請速上網報名(http://registrano.com/events/hadoop-tw-2011),額滿為止。



議程


09:00 ~ 09:30 報  到 (Registration)
09:30 ~ 10:10 講 題:Hadoop大資料處理解決方案 - 資料處理流程應用服務
講 者:洪子翔,中華電信研究所 經營策略研究室 助理研究員
10:20 ~ 11:00

講 題:運用抓抓龍(Crawlzilla)製作個人化書籤搜尋引擎
講 者:王耀聰,國家高速網路與計算中心 副研究員

11:10 ~ 11:50 講 題:Greenplum 整合分析平台 - 以 Recruit Japan 經驗為例
Greenplum Unified Analytical Platform - Recruit Japan Case Study

講 者:Jimmy Chiu 邱垂吉,EMC Greenplum 技術顧問
12:00 ~ 13:00 午  餐 (Lunch) / 大會供應餐盒
13:00 ~ 13:40 講 題:HBASE 於海量級資料之應用 - 以 SELENE 之多光譜感測器為例
講 者:辜文元,逢甲大學地理資訊系統研究中心
13:50 ~ 14:30 講 題:大資料寫入 HBase 案例探討 ─ 以警政監控案與轉動台灣案為例
講 者:黃至德,中華電信研究所寬頻網路技術研究室
14:40 ~ 15:20 講 題:雲端計算平台上醫療影像檔案存取系統
講 者:楊朝棟,東海大學資訊工程學系
15:30 ~ 16:10

講 題:Riak applied: case studies on distributed computing
講 者:Fyodor Yarochkin,台灣大學/阿碼科技(Armorize)

16:20 ~ 16:40 EMC Greenplum 實作展示(暫定)
  • Job description:
  1. Study and implement cloud computing technologies and provide proposal for critical system availability improvement for hig volume data processing improvement.
  2. Collaborate with project teams to pilot and promote cloud computing technologies.
  3. Develop equipment automation related applications
  4. Support operation system maintenance
  • Job requirement:
    1. MS degree or above in computer science or related disciplines.
    2. At lease 2-year experience in the Hadoop/mapreduce, virtualization, grid computing or cloud computing.
    3. Ability to learn and apply new technologies quickly.
    4. Self motivated, good teamwork and problem solving skill.
    5. Experienced in data center management related fields is a plus.
    6. Fluent English communication skill is a plus (oral and written).
    7. On call for system trouble shooting is required
    8. Location is at Tainan

各位抓抓龍的使用者:


任何自由軟體的發展,使用者社群的回饋對於開發者是重要的。
這裡想對外徵求對於抓抓龍(crawlzilla)的應用實例。

如果您將抓抓龍應用於您的組織內部(不管是校園、企業還是個人用戶),
且願意跟大家分享這個軟體的使用經驗(覺得好的地方,以及覺得有待改善的地方),
歡迎將這些應用案例分享給開發者。

有意分享者,煩請將您的使用經驗郵寄至 crawlzilla-user@googlegroups.com
謝謝~ 


若您沒有聽過抓抓龍(crawlzilla),

但有需求在自己的組織內部架設防火牆內的搜尋引擎,

與專屬「限定搜尋範圍」的搜尋引擎。

歡迎您至 http://crawlzilla.info 下載最新版本。


Dear Crawlzilla Users,

Your feedback are the most important motivation for developers to
improve this software.
So I'm here to request any use case of crawzilla in your organization.

If you have been install and use crawlzilla in your organization,
Please share with us via sending e-mail to crawlzilla-
user@googlegroups.com

Best Regards,
Jazz Yao-Tsung Wang
National Center for High-Performance Computing, Taiwan

2011雲端應用系統研討會

  • 日期:2011526日(四)
  • 地點:台北市和平東路二段106號二樓簡報室(科技大樓)
  • 指導單位:行政院國家科學委員會
  • 主辦單位:中華民國開放系統協會(COSA)
  • 協辦單位:國家高速網路與計算中心/中華民國軟體自由協會
  • 報名網址:http://www.cosa.org.tw/csttt/act_neo_class.php

2011 Taiwan Cloud Application 研討會議程表

09:30

主席致詞

09:40

國家高速網路與計算中心 /潘怡倫

Cloud WebOS - 專屬隨需計算資源之雲端線上作業系統

10:20

中華電信研究所 /羅嘉琳

應用資訊安全檢測於雲端運算環境之方法與實作

11:00

休息10分鐘

11:10

國家高速網路與計算中心 /王耀聰

DRBL-Hadoop - 資料探勘平台

12:00

午 餐

13:30

國家高速網路與計算中心 /陳威宇

Crawlzilla - 叢集式搜尋引擎系統

14:10

交通大學/陳昌盛

運用虛擬主機技術提升E-mail系統效能-以常見的前端過濾系統Amavisd改善為例

14:50

休息10分鐘

15:00

中華民國開放系統協會 /吳鴻煦

Intelligent Bi-Direction SMS - Channel Push Approach

15:40

中華電信研究所 /董元昕

一種以需求為基礎的雲端系統測試案例產生方法之研究

16:30

結束

 

由於先前的版本(0.1.1 ~ 0.1.4)沒有寫反安裝程式,因此這一版使用 NSIS 來撰寫視窗安裝版。
想嘗鮮的可以下載以下任一版本:(若需要 PROXY 設定者,建議使用完整版,以免下載檔案被擋)

目前在 Windows XP 上測試無誤,但 Windows 7 因為舊版 cygwin 安裝檔有 ntdll.dll 的相容性問題,所以暫時無法支援(縱使使用 cmd.exe 執行,仍舊會遇到一些執行問題)。

更多說明請參閱 Hadoop4Win 說明文件

 

第二屆台灣 Hadoop 使用者社群會議 
Hadoop Taiwan User Group Meeting 2010


按這裡填寫報名資訊


   繼格網運算之後,雲端運算被視為下一代資訊架構的主流。雲端運算平台 Hadoop 及雲端資料庫平台 HBase 與 Hive 均是目前諸多雲端運算服務的基礎架構。感謝去年國內 Hadoop 使用者社群的踴躍支持,第一屆台灣 Hadoop 使用者社群會議可以募集到如此多參與者,讓我們感到十分意外。今年感謝有業界朋友邀請我們針對 Hadoop 與 HBase 進行教育訓練課程。秉持取之於自由軟體,用之於自由軟體的精神,將委託金額部份挪出來辦此次活動,希望可以藉此次活動聽到更多台灣 Hadoop 使用者的新奇應用。目前已邀請了國內推動 Hadoop 教學、軟體開發、社群建立的幾位同好來進行知識分享,包括舊班底:台灣雅虎台灣大學通訊與多媒體實驗室國網中心雲端運算研究小組,亦邀請到來自成功大學 PhiCloud逢甲大學地理資訊系統研究中心東海大學高效能計算實驗室高雄應用科技大學雲端技術與神經行銷學實驗室的中南部夥伴,還有趨勢科技的業界專家來跟大家分享 Hadoop 與 HBase 方面的研究成果。希望透過此次會議,讓更多有興趣瞭解 Hadoop 的夥伴相互交流,進行凝聚出台灣區的 Hadoop 社群。
    本會議不收取任何報名費用,歡迎各界踴躍參加。礙於此次會議場地座位有限,請速上網報名(http://registrano.com/events/hadoop-tw-2010),額滿為止。



議程


08:30 ~ 09:10 報  到 (Registration)
09:10 ~ 09:50 講 題:抓抓龍:輕鬆打造個人化搜尋引擎
Crawlzilla : Build Search Engine by Yourself Easily

講 者:陳威宇,國網中心軟體技術組
09:50 ~ 10:30

講 題:Hadoop 於 GIS 上之應
Developing GIS Applications using Hadoop
講 者:辜文元,逢甲地理資訊中心

10:30 ~ 10:40 中場休息 (Break)/ 大會供應茶點
10:40 ~ 11:20 講 題:結合雲端分散儲存與 Nutch 搜尋引擎之影音網站
Building Youtube-like portal based on Nutch and Distributed Storage
講 者:東海大學高效能計算實驗室
11:20 ~ 12:00 講 題:Large-scale multimedia data processing on Hadoop
講 者:吳冠龍、謝良奇,台灣大學通訊與多媒體實驗室
12:00 ~ 13:00 午  餐 (Lunch) / 大會供應餐盒
13:00 ~ 13:40 講 題:Toward to next-generation database/datastore
講 者:蘇晏良,成功大學 PhiCloud
13:40 ~ 14:20 講 題:HBase Security and coprocessors
講 者:Gary Helmling / Andrew Purtell, HBase Contributor / Trend Micro USA
14:20 ~ 14:30 中場休息 (Break)/ 大會供應茶點
14:30 ~ 15:10 講 題:Oozie: Server-based Workflow Engine
講 者:陳奕瑋,台灣雅虎
15:10 ~ 15:50 講 題:Processing World Wide Domain Information
講 者:Ray Liao and Jerry J Wu, Trend Micro, Taiwan
15:50 ~ 16:30

講 題:跨雲端平台的虛擬資料層架構設計與實例
A Cloud-independent Architecture and Implementation of Virtual Data Layer

講 者:趙國仁、葉蕙菱,高雄應用科技大學 雲端技術與神經行銷學實驗室

 


交通資訊


台灣高鐵:搭乘高鐵至高鐵台中站

  • 接駁一:在高鐵台中站六號出口搭乘高鐵快捷公車(高鐵台中站-東海大學-中科管理局 )至中科管理局站下車,再搭乘中科巡迴巴士(綠線/西屯線)至格網中心站(東大路科園路口)下車,步行五分鐘即可到達。
  • 接駁二: 在高鐵台中站六號出口搭乘中科巡迴巴士(橘線/高鐵線) 直達中科管理局站,再搭乘中科巡迴巴士(綠線/西屯線)至格網中心站(東大路科園路口)下車,步行五分鐘即可到達。
  • PS. Jazz 分享小撇步:若當天到東海大學站以後,車上有多位要到會場的夥伴,可以凹司機在科園路與東大路的交叉路口讓各位下車,直接步行往科園路,可以節省多轉一次的困擾。
10-12-01_高鐵建議車次.png

自行開車:

北上方向
路線一 [國道一號] 下中港交流道(往沙鹿方向)→銜接至中港路(車行約十分鐘)→右轉東大路(車行約五分鐘)→進入中科。
路線二 [國道三號] 下龍井交流道(往台中方向) →銜接至中棲路(車行約五分鐘)→左轉東大路(車行約五分鐘)→進入中科。
南下方向
路線一 [國道一號] 下大雅交流道(往大雅方向)→銜接至中清路(車行約十分鐘)→左轉科雅路(車行約二分鐘)→進入中科。
路線二 [國道三號] 下沙鹿交流道(往台中大雅方向)→銜接至中清路(車行約十分鐘)→右轉科雅路(車行約二分鐘)→進入中科。
  • PS. Jazz 小撇步:自行開車前往者,可於科園路迴轉,停於中興大學育成中心側邊的免費停車場。

科園路與東大路口.png

東大路與科園路交叉路口街景

格網中心公車站牌.png

東大路格網中心公車站牌街景


hadoop-tw.jpg


第二屆台灣 Hadoop 使用者社群會議
Hadoop Taiwan User Group Meeting 2010


  感謝去年國內 Hadoop 使用者社群的踴躍支持,第一屆台灣 Hadoop 使用者社群會議可以募集到如此多參與者,讓我們感到十分意外。今年感謝有業界朋友邀請我們針對 Hadoop 與 HBase 進行教育訓練課程。秉持取之於自由軟體,用之於自由軟體的精神,將委託金額部份挪出來辦此次活動,希望可以藉此次活動聽到更多台灣 Hadoop 使用者的新奇應用。目前已邀請了國內推動 Hadoop 教學、軟體開發、社群建立的幾位同好來進行知識分享,包括舊班底:台灣雅虎台灣大學通訊與多媒體實驗室國網中心雲端運算研究小組,亦邀請到來自成功大學 PhiCloud逢甲大學地理資訊系統研究中心東海大學高效能計算實驗室的中南部夥伴來跟大家分享 Hadoop 方面的研究成果。希望透過此次會議,讓更多有興趣瞭解 Hadoop 的夥伴相互交流,進行凝聚出台灣區的 Hadoop 社群。

   本會議不收取任何報名費用,歡迎各界踴躍參加。礙於此次會議場地座位有限,請速上網報名(http://registrano.com/events/hadoop-tw-2010),額滿為止。

  目前暫訂議程如下,若有興趣分享您使用 Hadoop, HBase, Cassandra, Thrift 等專案的經驗,歡迎來信jazz-mail.png,告知您希望分享的主題、講者姓名與單位名稱、希望排定的時間,謝謝!

09:00 ~ 09:30 報  到 (Registration)
09:30 ~ 10:10 講 題:Build Search Engine by Yourself Easily
講 者:陳威宇,國網中心
10:20 ~ 11:00 講 題:Hadoop 於 GIS 上之應用
講 者:辜文元,逢甲地理資訊中心
11:10 ~ 11:50 講 題:結合雲端分散儲存與 Nutch 搜尋引擎之影音網站
講 者:東海大學楊朝棟教授團隊成員
11:50 ~ 13:00 午  餐 (Lunch)
13:00 ~ 13:40 講 題:Toward to next-generation database/datastore
講 者:蘇晏良,成功大學 PhiCloud
13:50 ~ 14:30 講 題:Oozie: Server-based Workflow Engine
講 者:陳奕瑋,台灣雅虎
14:40 ~ 15:20 講 題:Large-scale multimedia data processing on Hadoop
講 者:吳冠龍、謝良奇,台灣大學通訊與多媒體實驗室
15:30 ~ 16:10 講 題:Processing World Wide Domain Information
講 者:Ray Liao and Jerry J Wu, Trend Micro, Taiwan
16:20 ~ 16:40 講 題:跨雲端平台的虛擬資料層架構設計與實例
講 者:葉蕙菱,高雄應用科技大學 雲端技術與神經行銷學實驗室