• 環境要求: Hadoop 0.20.2+

• Step1. 下載 Spring Hadoop, 這邊是使用 git 去下載, 如果你對 git 不熟悉的話, 也可以直接從官網下載再解壓縮
  

• Step2. build spring-hadoop.jar
  

• Step3. get spring-framework.

• Step4. 修改 build file 讓我們可以把所有的 jar 檔, 封裝到同一個 jar 檔裡面
  

• Step5. 這邊有一個特殊的 hadoop.properties 主要是放置 hadoop 相關的設定資料.
  

• Step6. 這是最重要的一個設定檔, 有用過 Spring 的人都知道這個設定檔是 Spring 的靈魂

• Step7. 加上自己的 mapper, reducer

• Step8.  加上 spring.schemas, spring.handlers

• Step9. 終於到最後一步囉, 這一步我們要把所有的 jar 檔封裝在一起, 並且丟到 hadoop 上面去跑
  

• Step10. 最後來確認看看結果有沒有跑出來吧
  

• pre-requirement: hadoop 0.20.2+

• Step1. get spring-hadoop. you can get it by git or download from website.                                            

• Step2. build spring-hadoop.jar 

• Step3. get spring-framework.

• Step4. change the build file. we will assembly all jars into 1 jar file.

description = 'Spring Hadoop Samples - WordCount'

apply plugin: 'base'
apply plugin: 'java'
apply plugin: 'idea'
apply plugin: 'eclipse'

repositories {
    flatDir(dirs: '/home/evanshsu/springhadoop/lib/')
    // Public Spring artefacts
    maven { url "http://repo.springsource.org/libs-release" }
    maven { url "http://repo.springsource.org/libs-milestone" }
    maven { url "http://repo.springsource.org/libs-snapshot" }
}

dependencies {
    compile fileTree('/home/evanshsu/springhadoop/lib/')
    compile "org.apache.hadoop:hadoop-examples:$hadoopVersion"
    // see HADOOP-7461
    runtime "org.codehaus.jackson:jackson-mapper-asl:$jacksonVersion"

    testCompile "junit:junit:$junitVersion"
    testCompile "org.springframework:spring-test:$springVersion"
}

jar {
    from configurations.compile.collect { it.isDirectory() ? it : zipTree(it).matching{
        exclude 'META-INF/spring.schemas'
        exclude 'META-INF/spring.handlers'
        } }
}

• Step5. change hdfs hostname and wordcount paths (wordcount.input.path wordcount.output.path hd.fs) If you use nchc, please change hd.fs to hd.fs=hdfs://gm2.nchc.org.tw:8020

wordcount.input.path=/user/evanshsu/input.txt
wordcount.output.path=/user/evanshsu/output

hive.host=localhost
hive.port=12345
hive.url=jdbc:hive://${hive.host}:${hive.port}
hd.fs=hdfs://localhost:9000
mapred.job.tracker=localhost:9001

path.cat=bin${file.separator}stream-bin${file.separator}cat
path.wc=bin${file.separator}stream-bin${file.separator}wc

input.directory=logs
log.input=/logs/input/
log.output=/logs/output/

distcp.src=${hd.fs}/distcp/source.txt
distcp.dst=${hd.fs}/distcp/dst

• Step6. This is the most important part of spring-hadoop

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:hdp="http://www.springframework.org/schema/hadoop"
    xmlns:p="http://www.springframework.org/schema/p"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
    http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">


    <context:property-placeholder location="hadoop.properties"/>

    <hdp:configuration>
        fs.default.name=${hd.fs}
    </hdp:configuration>

    <hdp:job id="wordcount-job" validate-paths="false"
        input-path="${wordcount.input.path}" output-path="${wordcount.output.path}"
        mapper="org.springframework.data.hadoop.samples.wordcount.WordCountMapper"
        reducer="org.springframework.data.hadoop.samples.wordcount.WordCountReducer"
        jar-by-class="org.springframework.data.hadoop.samples.wordcount.WordCountMapper" />


      <hdp:script id="clean-script" language="javascript">
             // 'hack' default permissions to make Hadoop work on Windows
        if (java.lang.System.getProperty("os.name").startsWith("Windows")) {
            // 0655 = -rwxr-xr-x
             org.apache.hadoop.mapreduce.JobSubmissionFiles.JOB_DIR_PERMISSION.fromShort(0655)
             org.apache.hadoop.mapreduce.JobSubmissionFiles.JOB_FILE_PERMISSION.fromShort(0655)
        }
        
        inputPath = "${wordcount.input.path}"
        outputPath = "${wordcount.output.path}"   
        if (fsh.test(inputPath)) { fsh.rmr(inputPath) }
        if (fsh.test(outputPath)) { fsh.rmr(outputPath) }

        // copy using the streams directly (to be portable across envs)
        inStream = cl.getResourceAsStream("data/nietzsche-chapter-1.txt")
        org.apache.hadoop.io.IOUtils.copyBytes(inStream, fs.create(inputPath), cfg)
    </hdp:script>
   
    <!-- simple job runner -->
    <bean id="runner" class="org.springframework.data.hadoop.mapreduce.JobRunner"  p:jobs-ref="wordcount-job"/>
   
</beans>

• Step7. Add your self mapper and reducer

package org.springframework.data.hadoop.samples.wordcount;
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

package org.springframework.data.hadoop.samples.wordcount;
import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReducer extends
        Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

• Step8. add spring.schemas and spring.handlers.

http\://www.springframework.org/schema/context/spring-context.xsd=org/springframework/context/config/spring-context-3.1.xsd
http\://www.springframework.org/schema/hadoop/spring-hadoop.xsd=/org/springframework/data/hadoop/config/spring-hadoop-1.0.xsd

http\://www.springframework.org/schema/p=org.springframework.beans.factory.xml.SimplePropertyNamespaceHandler
http\://www.springframework.org/schema/context=org.springframework.context.config.ContextNamespaceHandler
http\://www.springframework.org/schema/hadoop=org.springframework.data.hadoop.config.HadoopNamespaceHandler

• Step9. build and run

• Step10. confirm it works

第三屆台灣 Hadoop 使用者社群會議 
Hadoop Taiwan User Group Meeting 2011

• 會議時間：民國一百年十二月五日（週一）
• 會議地點：中華電信訓練所板橋本所綜合大樓七樓會議室
                    （板橋市民族路 168 號 - 詳細 交通指引）
• 主辦單位：國家高速網路與計算中心
• 協辦單位：中華電信訓練所、EMC Greenplum
• 贊助單位：CIO IT 經理人雜誌、iThome 電腦報週刊
• 報名網址：http://registrano.com/events/hadoop-tw-2011
• 聯絡電話：王耀聰 (03) 577-6085 # 319

按這裡填寫報名資訊

   2010 年被譽為台灣雲端元年，2011 年我們看到雲端風潮開始在台灣各行各業持續發酵，其中大量資料分析技術（Big Data）更被 Gartner 視為 2012 關鍵 IT 策略技術之一。Hadoop 在大量資料分析技術中媒體曝光率最高的雲端技術，Hadoop 生態系專案經過六年的醞釀，近期 Hadoop 相關的新創公司如雨後春筍般快速冒出，相信對於已經在使用 Hadoop 的開發者們無疑是劑強心針。2010 年感謝國內 Hadoop 使用者社群的踴躍支持，克服交通不便的障礙，熱情地參與第二屆台灣 Hadoop 使用者社群會議，讓我們倍感榮幸。今年感謝有工研院服務業科技應用中心與產業經濟與趨勢研究中心委託我們進行 Hadoop 與雲端運算相關專案。秉持取之於自由軟體，用之於自由軟體的精神，我們今年依慣例將委託金額部份挪出來辦此次活動，希望可以藉此次活動能讓各位聽到更多台灣本土的 Hadoop 新奇應用、讓大家了解最近有哪些新的 Hadoop 技術或服務可以使用。

   由於資料庫應用在傳統資訊系統扮演非常重要的角色，加上 Hadoop MapReduce 已整合進微軟的 SQL Server ，連 Oracle 都有類似的整合計畫。因此今年無獨有偶，多數講者都在談論資料庫系統與 Hadoop 的整合。今年的講者群陣容相當堅強，分佈於產、學、研各界，包括：EMC Greenplum、中華電信研究所、東海大學高效能計算實驗室、逢甲大學地理資訊系統研究中心與國網中心雲端運算研究小組。希望透過此次會議，讓更多有興趣瞭解 Hadoop 的夥伴相互交流，進行凝聚出台灣區的 Hadoop 社群。

    本會議不收取任何報名費用，歡迎各界踴躍參加。礙於此次會議場地座位有限，請速上網報名（http://registrano.com/events/hadoop-tw-2011），額滿為止。

    本次會議感謝中華電信、EMC Greenplum、CIO IT 經理人雜誌、iThome 電腦報週刊贊助展示攤位與週刊雜誌，主辦單位國網中心方面亦提供 14 本「Hadoop 技術手冊, 2/e」繁體中文版給每場講者贈送問問題的聽眾。歡迎大家踴躍報名～

議程

交通資訊

• 開車路線(到達目的地後請跟警衛換證)  

1. 華江大橋→文化路一段→左轉漢生東路→左轉區運路→左轉民族路→電信訓練所   
2. 華翠大橋、萬板大橋→縣民大道二段→左轉漢生東路→左轉區運路→左轉民族路→電信訓練所  
3. 光復大橋→板橋中山路一段→左轉漢生東路→左轉區運路→左轉民族路→電信訓練所  
4. 中永和可經華中橋、中正橋→中和中山路一段、三段→板橋民族路區運路口迴轉→電信訓練所  
5. 北二高北上請於土城交流道 →接台65號快速道路往板橋→縣民大道→右轉民權路→左轉民族路→電信訓練所
6. 北二高南下請於中和交流道下閘道→左轉中和中山路二段→中和中山路三段→板橋民族路→區運路迴轉→電信訓練所

• 搭捷運、火車、高鐵（三鐵共構）後轉搭公車至訓練所

       搭捷運板南線於板橋站下車，搭火車、高鐵於板橋站下車→步行至捷運二號出口出站，於公車轉運站乘坐307號→往台北方向（下一站即是電信訓練所站），到電信訓練所站下車→步行至民族路168號到訓練所大門（約70公尺）。

• 搭捷運、火車、高鐵（三鐵共構）後步行至訓練所

 搭捷運板南線於板橋站下車，搭火車、高鐵於板橋站下車→步行往新北市府地下通道→搭手扶梯上平面道路(約5分鍾) →過馬路到對面遠百後往新北市消防局方向走→路過天皇精緻料理→沿華南銀行，花旗銀行騎樓直走到民族路→.過馬路到中華電信板橋營運處 (民族路166號) →步行至民族路168號到訓練所大門（約70公尺）。

• 捷運二號出口街景圖：http://g.co/maps/spwjp
• 
• 新北市府地下道出入口街景圖：http://g.co/maps/w59wa
• 
• 天皇精緻料理街景圖：http://g.co/maps/wbhft
• 
• 中華電信板橋營運處街景圖：http://g.co/maps/ut3ru
• 
• 公車電信訓練所站街景圖：http://g.co/maps/5k7zx
• 
• 訓練所街景圖：http://g.co/maps/3asnm
• 

1. Hadoop Software Developer (Hadoop 軟體工程師)

Job Description:

1. Hadoop 巨量資料處理平台產品及解決方案研發
2. Solr/Lucene 巨量企業搜尋解決方案整合研發
3. Hadoop/Solr/Lucene 雲端運算技術整合測試、效能調校. 
4. 協助客戶進行Hadoop/Solr/Lucene等Open Source雲端運算技術導入及專案建置、系統整合

Job Requirement:

1. 大學以上相關科系畢業
2. 熟悉J2SE、JVM效能調校
3. 熟悉Linux系統操作，至少熟悉一種Script Language (shell script, perl or python)
4. 對Hadoop有經驗者為佳，CCDH (Cloudera Certified Developer for Apache Hadoop) 優先錄用
5. 熱愛技術與open source，具備積極主動的學習態度

工作地點：台北內湖科學園區

履歷資料請寄 jameschen@systex.com.tw

Job Description:

1.          Developing big data business strategies based on comprehensive analysis on the industry, competitors, market and business conditions, and proactively identifying and profiling target business opportunity

2.          Developing business models and solutions based on current product offering

3.          Screens potential business deals by analyzing market strategies, deal requirements, potential, and financials; contacting potential partners; evaluating options; resolving internal priorities; recommending equity investments.

4.          Supporting BU sales team from developing account plan to engaging and gaining commitment actively working with partner C Level

5.          Support to closes new business deals by coordinating requirements; developing and negotiating contracts; integrating contract requirements with business operations.

Job Requirement:

1.          5+ years working experiences in sales, product marketing & management and pre-sales functions in IT enterprise solution industry

2.          Familiar with those solutions as below is good plus

ü   Information retrieval / Knowledge management

ü   Content Management or Enterprise Search Application

ü   Document Management / Automation

ü   Business intelligence / Business Analytics

ü   Data Warehouse & Data Mining

3.          Good command of spoken and written English and Mandarin.

4.          Self-motivated, well-organized, team player and good interpersonal skills

5.          Experience engaging with senior executives.

6.          Good presentation skill is a must

7.          BA/BS required

8.          Willing to travel up to 25% in APAC region (South China, HK and South Asia)

工作地點：台北內湖科學園區

[關於精誠Big Data事業]

精誠Big Data事業隸屬于精誠資訊(台灣第一大資訊服務廠商)策略性組織「雲中心」的一環，以發展Big Data Killer App為使命，採台北-北京雙基地並行發展。奠基於全球的Hadoop Ecosystem，與所有的Hadoop Distributions、Tools廠商友好，致力於巨量資料的End-to-End解決方案，直接面對行業客戶，直接解決特定的商業問題，凸顯團隊的專業價值。團隊中有亞洲少見的多年Hadoop實戰經驗成員，在商業Production環境中運行過數百到上萬個節點的服務叢集，並已有數位成員擁有Cloudera Certified Developer/Administrator for Apache Hadoop的專業認證。

我們積極參與世界性與大中華地區的開源社群活動，如最近即參與了「Hadoop World 2011」(紐約)全球年度盛會，以及「Hadoop中國2011雲計算大會」(北京)的議程報告 (http://hic2011.hadooper.cn/dct/page/65580)。

您對Hadoop有熱情嗎？歡迎加入精誠Big Data事業團隊，包準您學得快又多，成為業界翹楚，指日可待。