Inhale 'n Exhale

リンクの隣に被はてブ数を表示するjQuery

Hiro — Fri, 17 Feb 2012 05:14:19 +0000

ブログを開設してから1ヶ月ちょっとだが、はてブされるエントリが出てきたので、ブログ内で被はてブ数を表示させるようにしてみる。ブックマーク数を画像で取得するAPIによると、被はてブ数のアイコンを表示させるには

というimgタグを使えばいい。さらに、アイコンを該当するはてブにリンクさせるには

というaタグで囲めばいい。

まずはここまでを実現するJavaScriptを書いてみる。

$(function() {
  $('a').each(function() {
    var url = $(this).attr('href');
    var hateb_api = 'http://b.hatena.ne.jp/entry/';
    var hateb_icon = $('', { src: hateb_api+'image/'+url });
    var hateb = $('', { href: hateb_api+url }).append(hateb_icon);
    $(this).after(hateb);
  });
});

ワンライナーで書けなくもないが、コードの見やすさを重視して変数を適当に使った。ただしこれだと、サイト内のリンクというリンクすべてに被はてブ数のアイコンがついてしまうので非常に目障りなので、「Most Viewed」のウィジェット内だけに絞り込む。

Chrome Developer Toolsで「Most Viewed」のウィジェットを構成しているHTMLを調べると

views-3というid属性が割り当てられている。WordPressのテーマによってid属性が変わると思うので、自分のサイトに使う場合はあらかじめDOMを調べておいた方がよいだろう。

2行目のaセレクタで親要素に#views-3を指定する。さらに、外部サイトのリンクを別タブで開くjQueryのコードともマージしてしまおう。

jQuery(function() {
  var $ = $ || jQuery;
  $('#views-3 a').each(function() {
    var url = $(this).attr('href');
    var hateb_api = 'http://b.hatena.ne.jp/entry/';
    var hateb_icon = $('', { src: hateb_api+'image/'+url });
    var hateb = $('', { href: hateb_api+url, target: '_blank' }).append(hateb_icon);
    $(this).after(hateb);
  });
  $("div#content a:not([href^=''])").attr('target', '_blank');
});

続：Google AnalyticsにAdSenseをリンクさせるのがわかりづらい！

Hiro — Sat, 11 Feb 2012 05:09:25 +0000

Google AnalyticsにAdSenseをリンクさせるのがわかりづらい！のエントリで、「結局、解決方法をググって探すわけで…」と尻切れトンボになってしまったが、ググってもGoogleのヘルプページばかりヒットして堂々巡りにorz

結局、自己解決。

ポイントはAnalyticsを以前のバージョンに戻すこと。

Analyticsを新しいUIにしていたから、Googleのヘルプページがトンチンカンに見えるわけだ。

旧バージョンに戻すとなぜか勝手に英語UIになってしまったが、AdSenseをリンクさせたいAnalyticsプロファイルのEditのリンクをクリックする（日本語UIだと「編集」になってるかも）。

ここで「AdSense Data」という項目にようやく巡り合える。

さらにEditのリンクをクリックして、プロファイル編集ページの一番下にある「Yes, this profile should receive AdSense data」というチェックボックスをオンにする。

すると、JavaScriptのコードスニペットが表示される。

このコードを自分のサイトの～タグの間に埋め込むと、数時間後にはAnalytics上でAdSenseの統計が表示されるようになる。

Analyticsの新しいUIには、プロファイル設定ページのどこを探してもAdSense連携用のコードスニペットを取得できるような画面がないのに、

こんなUIを出すから混乱するんだ。

フォームのキー入力を制御するjQueryプラグイン

Hiro — Wed, 08 Feb 2012 05:06:56 +0000

フォームで入力可能な文字種を制限したい場合に使えるjQueryのプラグインを作ってGitHubにアップしてみた。使い方は至って簡単。jQuery本体とjquery.klimit.jsをHTMLに読み込んで、キー入力制限をしたいフォーム（inputタグ）のclass属性にklimit-*を追加するだけ。

プラグインでデフォルトで用意したクラスは以下の通り。

klimit-digit：10進数のみ入力可能
klimit-hex：16進数のみ入力可能
klimit-lower：英小文字のみ入力可能
klimit-upper：英大文字のみ入力可能
klimit-alpha：英字のみ入力可能
klimit-alnum：英数字のみ入力可能
klimit-graph：英数字と記号のみ入力可能
klimit-mail：メールアドレスに使用できる文字のみ入力可能

klimit-hexやklimit-graphは用途があるか疑問だが…。

実際にデモで体験してもらうのが一番わかりやすいだろう。

ソースコードはこうなっている。








klimit-digit
klimit-hex
klimit-lower
klimit-upper
klimit-alpha
klimit-alnum
klimit-graph
klimit-mail

プラグインがデフォルトで用意しているklimit-*とは異なる独自のルールでキー入力制御をしたいこともあるだろう。例えば、ユーザー名のフォームで英数字と.（ドット）、_（アンダースコア）のみを許可したいような場合は、以下のようにklimit()に許可する文字種を配列で渡せばよい。

jQuery.KLIMITには、DIGIT、HEX、LOWER、UPPER、ALPHA、ALNUM、GRAPHというプロパティがあり、jQuery.klimit()に引き渡せる文字集合が定義されているので、これらと組み合わせることで簡単に独自のルールを作ることができる。

ところで、最初のデモのklimit-mailで@や_（アンダースコア）が入力できなくておかしいと思った人もいるだろう。jquery.klimit.jsはデフォルトではUS101キーボードのキー配列に基づいて入力制御をしており、日本語の106/109キーボードを使っていると一部の記号のキー配列がUS101キーボードとは異なっているため期待通りの制限がかからない。日本語の106/109キー配列に対応させるためには、jquery.klimit.jsに先立ってjquery.klimit.kb109.jsを読み込む必要がある。









（略）

jquery.klimit.kb109.jsを読み込んだバージョンのデモがこちら。

他の国のキー配列（例えば韓国語やアラビア語）がどうなっているかわからないが、jquery.klimit.kb109.jsのようなキー配列定義ファイルを作って、US101キーボードとは異なるキーだけをjQuery.KLIMIT.KEY_CODE_MAPに登録することで、他のキー配列にも対応できるようになっている。

ただし、ブラウザからはユーザーが使っているキーボードが何なのか知る由もないし、モバイルデバイスのソフトキーボードでは制御できるかも怪しい（面倒で試してないだけ）。実際にこのプラグインが使えるシーンは少ないかもしれない。

ベビーグッズを買い揃えるならBuybuyBaby

Hiro — Sat, 04 Feb 2012 05:38:38 +0000

ベビー用品の買い物に行こうと思った時、真っ先に思いつくのはBabiesRUsだが、店舗によって規模にかなり差があり、ToysRUsのオマケみたいな感じの店舗は品揃えがいまいちなことが多い。我が家の近くにあるSunnyvale店はその典型。ベイエリアにあるBabiesRUsの中で規模が大きいところというと、RedWood City店かSan Jose店になるだろう。

ちょうど去年の今頃だろうか、息子が生まれる前にいろいろベビーグッズを買い揃えるのに、San JoseのBabiesRUsに向かってCA-85号線を走っていたら、BuyBuyBabyという大きなロゴが目に止まったので、BabiesRUsで買い物を済ませた帰りにちょっと立ち寄ってみた。

店内に入って品揃えの豊富さに圧巻。BabiesRUsで買い物をする前に来ればよかったと後悔したくらい。他にも店舗はないかとネットで調べてみたが、当時はベイエリアではSan Joseにしか店舗がなかった（半年くらい前にPleasant Hill店がオープンしたが我が家からは遠い…）。もちろんオンラインショッピングもできるのだが、品物が届いてから気に入らなくて返送するというのがどうも面倒に感じてしまうので、ネットで買うにしても先に現物を見て確認しておきたいのだ。

それ以来、ベビーグッズの買い物は決まってBuybuy Babyに行くようになった。品揃えがいいもんだから、ついつい必要ないものまで買いたくなる誘惑に駆られるが…。というわけで、ベイエリアのダディ＆マミィにはオススメ。

Buybuy Baby
5353 Almaden Expressway, San Jose, CA 95118

View Larger Map

Google AnalyticsにAdSenseをリンクさせるのがわかりづらい！

Hiro — Wed, 01 Feb 2012 07:30:46 +0000

いつからかGoogle AnalyticsのUIが刷新されて、いろいろ細かい統計情報が見やすくなったものの、路頭に迷ってしまったのがコンテンツの下にあるAdSenseのメニュー。本ブログでもAnalyticsとAdSenseの両方を使っているので、AdSenseの統計情報がAnalyticsで見えるのは嬉しい機能だ。がしかし、実際にAnalytics上でAdSenseのサマリーを表示させようとしても、「このレポートを使用するには、このプロファイルに対してAdSenseを有効にする必要があります。」というメッセージが出てくるだけ。

AdSenseのどの広告ユニットをAnalyticsで集計するのかは、自分でリンクさせなきゃいけないわけだ。

でもどうやって？

「AdSense アカウントとアナリティクスアカウントをリンクする理由」と題されたメッセージにある「詳細についてはこちらをご覧ください」のリンクをクリックしたらヘルプページに飛んだので、素直に手順に従おうと読み進めた。

AdSenseを開く。

「アカウントを統合するためのリンク」ってどこ？？

[詳細ページ]なんてのも見当たらないから[サマリー]のページで合ってるはず。[Google Analyticsで成果を確認]のリンクがもともと「アカウントを統合するためのリンク」だったのだろうか。

気にせずに読み進める。

そう。やりたいことはAdSenseアカウントを既存のAnalyticsアカウントにリンクさせたいだけ。動画を見てもなぁと思いながら、こちらのリンクをクリックした。

リンク切れかいっ！なんだかなぁ…orz

その下のFAQ的な5つのケースを見てもどれも当てはまらないのだが、一番近いもので「2. プロファイルを 1 つだけ設定したアナリティクスアカウントを持っている」の回答を読む。

そもそも「[スタートガイド] ページ」がどこにあるんだかわからない。AdSenseのページをくまなく探したけれど見つからない。ヘルプが実装に追いついてないせいで、ヘルプが迷宮への入り口になっている。まさしく五里霧中。

でも結局、解決方法をググって探すわけで…。

つづく

Google日本語入力をFedora14にインストールする

Hiro — Sun, 29 Jan 2012 05:20:22 +0000

Fedora14の日本語入力にはデフォルトのAnthyを使っていたのだが、MacでGoogle日本語入力を使って慣れてきたので、Fedora14でもGoogle日本語入力を使えるようにインストールしてみる。Google日本語入力は、mozcプロジェクトによって開発されており、WikiのLinux Build Instructionsにソースからビルドする方法が説明されているのだが、Fedora14のyumリポジトリを探したらibus-mozcというパッケージが見つかったので、yumを使ってインストールすることにした。

$ sudo yum -y install ibus-mozc

インストールが完了したら、Fedoraのメニューバーから[System]-[Preferences]-[Input Method Selector]を選択する。

[Input Method Preferences...]ボタンをクリックして[Input Method]タブを開く。[Select an input method]のプルダウンから[Japanese]-[Mozc]を選択して[Add]ボタンをクリックする（プルダウンの[Japanese]の中に[Mozc]が見つからない場合は、Fedoraを一度ログアウトする必要がある）。

Anthyはもう使わないので[Remove]ボタンをクリックして削除してMozcだけ残るようにする。

これで日本語変換エンジンがGoogle日本語入力に置き換わった。

Hadoopで始める並列データ解析／後編

Hiro — Thu, 26 Jan 2012 06:50:36 +0000

1月13日（金）にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。

前編では、Hadoopを使って計算処理をするための準備として、EC2上にHadoopクラスタを構築する方法を紹介した。後編では実際にギークサロンで手を動かしてやったことを中心に紹介していこう。

WordCount.java – 最初のサンプルコード

Hadoop Tutorial / Module4: MapReduceで紹介されているWordCount.javaを使って、EC2上のHadoopクラスタで処理をさせてみる。いわゆる"Hello, wolrd!"的なサンプル。

まずはEC2上のUbuntuにSSHでログインして、Hadoopのクラスタを立ち上げ、Hadoopクラスタのマスターノードにログインする。

local$ ec2hadoop
ubuntu$ hadoop-ec2 launch-cluster hadoop-cluster 2
ubuntu$ hadoop-ec2 login hadoop-cluster
cluster#

ホームディレクトリに作業用ディレクトリを作成して、そこにWordCount.javaのソースコードをコピーする。

cluster# mkdir ~/cordcount
cluster# cp $HADOOP_HOME/src/examples/org/apache/hadoop/examples/WordCount.java ~/wordcount

WordCount.javaは複数のテキストファイルを入力として、ファイル中の単語をすべてカウントして、各単語の出現回数集計するアプリ。簡略化したソースコードを以下に掲載しておこう。

/**
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.*;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.util.*;

public class WordCount extends Configured implements Tool {
  /**
   * Counts the words in each line.
   * For each line of input, break the line into words and emit them.
   */
  public static class MapClass extends MapReduceBase
    implements Mapper {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value,
                    OutputCollector output,
                    Reporter reporter) throws IOException {
      String line = value.toString();
      StringTokenizer itr = new StringTokenizer(line);
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        output.collect(word, one);
      }
    }
  }

  // A reducer class that just emits the sum of the input values.
  public static class Reduce extends MapReduceBase
    implements Reducer {

    public void reduce(Text key, Iterator values,
                       OutputCollector output,
                       Reporter reporter) throws IOException {
      int sum = 0;
      while (values.hasNext()) {
        sum += values.next().get();
      }
      output.collect(key, new IntWritable(sum));
    }
  }

  // The main driver for word count map/reduce program.
  // Invoke this method to submit the map/reduce job.
  public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(getConf(), WordCount.class);
    conf.setJobName("wordcount");

    // the keys are words (strings)
    conf.setOutputKeyClass(Text.class);
    // the values are counts (ints)
    conf.setOutputValueClass(IntWritable.class);

    conf.setMapperClass(MapClass.class);
    conf.setCombinerClass(Reduce.class);
    conf.setReducerClass(Reduce.class);

    FileInputFormat.setInputPaths(conf, new Path(args[0]));
    FileOutputFormat.setOutputPath(conf, new Path(args[1]));

    JobClient.runJob(conf);
  }
}

自分はJavaに馴染みないのだが、短いプログラムなので理解するは難しくない。MapClassクラスのmap()関数で、入力ファイルの各行をStringTokenizerで単語に区切り、<単語, 1>というペアを出力する（Map処理）。次にReduceクラスのreduce()関数で、MapClassの出力したペアの値に対して総計を算出する（Reduce処理）。main()関数では、JobConfをセットアップして、コマンドライン引数で渡された入出力先ディレクトリを指定している。

HadoopのMap/Reduceチュートリアルのウォークスルーの節に、詳しい説明が日本語で書かれているので参考にするといいだろう。

WordCount.javaをコンパイルして、クラスコードをjarファイルにパッケージングする。

cluster# cd ~/wordcount
cluster# mkdir classes
cluster# javac -classpath $HADOOP_HOME/hadoop-0.19.0-core.jar -d classes WordCount.java
cluster# jar -cf wordcount.jar -C classes .
cluster# tree
.
|-- WordCount.java
|-- classes
|   `-- org
|       `-- apache
|           `-- hadoop
|               `-- examples
|                   |-- WordCount$MapClass.class
|                   |-- WordCount$Reduce.class
|                   `-- WordCount.class
`-- wordcount.jar
5 directories, 5 files

分散ファイルシステム（HDFS）の構築

Hadoopの入出力ファイルは、ローカルのファイルシステムとは異なる、Hadoop専用の分散ファイルシステム（HDFS: Hadoop Distributed File System）を介して配置しなければならない。HadoopクラスタではデフォルトでHDFSがマウントされているので、ファイルシステム自体のセットアップは不要だ。HDFS内のファイルやディレクトリを操作するにはhadoop dfsコマンドを使う（参考：Hadoop HDFSコマンド実行メモ）。

まず、WordCountの入力ディレクトリをHDFS内に作成する。

cluster# hadoop dfs -mkdir input
cluster# hadoop dfs -ls
Found 1 items
drwxr-xr-x   - root supergroup          0 2012-01-24 18:33 /user/root/input

Hadoopのマスターノードにrootとしてログインしているので、/user/rootがHDFS内でのホームディレクトリになっている。試しにローカルファイルシステムに適当なファイルを作成して、それをHDFS内のinputディレクトリにコピーしてみよう。

cluster# echo Hello > hello.txt
cluster# hadoop dfs -put hello.txt input/
cluster# hadoop dfs -lsr
drwxr-xr-x   - root supergroup          0 2012-01-24 18:38 /user/root/input
-rw-r--r--   3 root supergroup          6 2012-01-24 18:38 /user/root/input/hello.txt
cluster# hadoop dfs -cat input/hello.txt
Hello
cluster# hadoop dfs -rm input/hello.txt
cluster# rm -f hello.txt

では実際にWordCountのアプリケーションで処理させる入力ファイルを用意しよう。それなりのボリュームの入力があった方がいいので、RFCドキュメントをローカルのファイルシステム上に巡回ダウンロードするスクリプトを作ってみた。

cluster# cd ~/wordcount
cluster# vi wgetrfc

#!/bin/bash

INDEX=1
COUNTER=0
BASEURL=http://www.ietf.org/rfc
OUTDIR=$PWD/input

rm -rf $OUTDIR
mkdir -p $OUTDIR

while test $COUNTER -lt $1; do
  FILENAME=rfc$INDEX
  if wget -q -O $OUTDIR/$FILENAME $BASEURL/$FILENAME; then
    COUNTER=`expr $COUNTER + 1`
    echo "$FILENAME OK"
  else
    rm -rf $OUTDIR/$FILENAME
  fi
  INDEX=`expr $INDEX + 1`
done

とりあえず100個のRFCドキュメントをダウンロードしておこう。

cluster# chmod +x wgetrfc
cluster# ./wgetrc 100
rfc1 OK
rfc2 OK
...
rfc103 OK
cluster# cat input/* | wc
  32907  157746 1162188

3つくらい欠番があるようだが、1MBほどの入力ファイルができたのでHDFSにコピーする。

cluster# hadoop dfs -put input/* input
cluster# hadoop dfs -ls input
Found 100 items
-rw-r--r--   3 root supergroup      21088 2012-01-24 19:22 /user/root/input/rfc1.txt
-rw-r--r--   3 root supergroup       4510 2012-01-24 19:22 /user/root/input/rfc10.txt
...
-rw-r--r--   3 root supergroup      24529 2012-01-24 19:22 /user/root/input/rfc98.txt
-rw-r--r--   3 root supergroup       1010 2012-01-24 19:22 /user/root/input/rfc99.txt

WordCountの実行

これでWordCountを実行する準備が整った。以下のコマンドでHadoopクラスタに処理をさせてみよう。WordCountの第1引数は入力ファイル群が置かれているHDFS上のディレクトリ（/user/root/input）、第2引数は同じくHDFS上の出力先のディレクトリ（/user/root/output）を指定する。出力先ディレクトリは自分で先に作ってしまうと”Output directory already exists”というFileAlreadyExistsExceptionエラーが発生してしまう。Hadoopが勝手に生成してくれるのでお膳立ては不要だ。

cluster# cd ~/wordcount
cluster# hadoop jar wordcount.jar org.apache.hadoop.examples.WordCount input output
12/01/24 19:36:54 INFO mapred.FileInputFormat: Total input paths to process : 100
12/01/24 19:36:54 INFO mapred.JobClient: Running job: job_201201241700_0001
12/01/24 19:36:55 INFO mapred.JobClient:  map 0% reduce 0%
12/01/24 19:37:03 INFO mapred.JobClient:  map 1% reduce 0%
...
12/01/24 19:40:51 INFO mapred.JobClient:     Map output records=157747
12/01/24 19:40:51 INFO mapred.JobClient:     Reduce input records=56339

Map/Reduceの処理結果はoutput/part-00000.deflateというファイルに出力されている。

cluster# hadoop dfs -ls output
Found 2 items
drwxr-xr-x   - root supergroup          0 2012-01-24 19:36 /user/root/output/_logs
-rw-r--r--   3 root supergroup      67154 2012-01-24 19:40 /user/root/output/part-00000.deflate

hadoop dfs -catコマンドで出力ファイルの内容を標準出力にダンプしてみるとわかるが、中身はバイナリデータになっている。拡張子の.deflateから推測できるようにDeflateアルゴリズムで圧縮されているからだ。Hadoopではクラスタ間でデータを転送する際のネットワーク帯域を節約するために、デフォルトでデータを圧縮するようになっているらしい。

Deflateの圧縮を解凍するために、unzipコマンドを使ってみたりしたがうまくいかなかったので（誰か知っていたら教えてください）、Hadoopの設定ファイルを変更して出力データを圧縮しないようにする。$HADOOP_HOME/conf/hadoop-site.xmlをエディタで開いて、mapred.output.compressの値をtrueからfalseに変更する。

cluster# vi $HADOOP_HOME/conf/hadoop-site.xml


  mapred.output.compress
  false

出力ディレクトリを削除して、WordCountを再実行しよう。

cluster# cd ~/wordcount
cluster# hadoop dfs -rmr output
cluster# hadoop jar wordcount.jar org.apache.hadoop.examples.WordCount input output
cluster# hadoop dfs -ls output
Found 2 items
drwxr-xr-x   - root supergroup          0 2012-01-24 20:01 /user/root/output/_logs
-rw-r--r--   3 root supergroup     186137 2012-01-24 20:04 /user/root/output/part-00000

今度は.deflateという拡張子は付いていないので、圧縮されていないことがわかる。実行結果を標準出力に表示させてみよう。

cluster# hadoop dfs -cat output/part-00000
!	13
!=,	1
"	22
"#33,	1
"--"	1
...
||=======>|	1
||=>-	1
}	6
~	4
�sec	1

記号ばかりだがテキストとして読める状態にはなっている。HDFS上のファイルをローカルのファイルシステムに取り出す場合は

cluster# hadoop dfs -get output/part-00000 .

を実行すればよい。エディタでファイルの中身を見てみるといいだろう。

WordCountは単語の出現回数を数えるだけのつまらないプログラムだが、Map/ReduceのアーキテクチャやHDFSの操作方法を学ぶには十分なサンプルだ。

$HADOOP_HOME/src/examples/org/apache/hadoop/examples/には他のサンプルもあるので、どのようにMap/Reduceの処理をさせるか参考にするといいだろう。サンプルソースを読むだけなら、わざわざHadoopクラスタのマスターノードにログインしなくても、Hadoopのソースをダウンロードすればローカルで学習できる。

以下、ギークサロンをホストしてくださった山中氏よりコメント。

私は以前から画像処理など各種科学技術計算用のPCクラスタを開発してきました。オリジナルで分散PCクラスタを構築しようとすると、非常に沢山の機能が必要になります。例えば実行ファイルや入力データを各ワークステーションに配置する機能や中間実行結果を取り出して他のクラスタに配信する機能、リモートでプロセスの実行を管理したり発生したエラーをハンドリングする機能も必要です。これらを全て提供し、かつJavaのクラスファイルから柔軟に計算フレームワークを構築できるのがHadoopなのです。

Amazon S3ストレージをHDFSとして使う

ここまではマスターノードのローカルにマウントされたデフォルトのHDFSを使ってきたが、今度はAmazon S3にHDFSをマウントするようにしてみる。S3をHDFSのストレージとして利用することで、多数のHadoopクラスタから入出力先を相互に設定できるようになる。例えば、1つのHadoopクラスタが出力したデータをS3上に保存しておき、別のHadoopクラスタがそれを入力データとして利用するといったことが可能になる。Hadoopはクラウド環境と非常に相性がいい。

ローカルにマウントされたHDFSは、EC2上でHadoopクラスタを稼働させている間でなければ、入出力データを取り出すことができないという欠点がある。EC2 API Toolsのhadoop-ec2 launch-clusterコマンドによって起動されるHadoopクラスタはルートデバイスにインスタンスストアを使っている（EBSではない）ため、hadoop-ec2 terminate-clusterコマンドでHadoopクラスタを終了すると同時に、HDFSに保存されていたデータも消失する。EC2上でHadoopクラスタを構築すると、たとえ計算処理をしていなくても、インスタンスを立ち上げているだけで課金されてしまい、油断すると簡単にクラウド破産しかねない。Hadoopの出力データをS3上に保存できれば、Hadoopクラスタが不要になったら即インスタンスを停止、または終了させることができるので、そういった面でもS3をストレージとして使うメリットは大きいだろう。

それではまず、Amazon S3のセットアップをしておこう。

AWSの管理コンソールにログインして[Amazon S3]のタブを開き、左上にある[Create Bucket]ボタンをクリックする。

ダイアログが表示されたら、[Bucket Name]にS3バケット名を入力する。

なおバケット名には、Amazon S3を使用しているすべてのユーザー間で一意なものを選ばなければならない。ここで設定している「h2plus-hadoop-hdfs」と同じバケット名はもう使えないので、オリジナルのバケット名を付けるようにしよう。ダイアログで[Create]ボタンをクリックするとS3バケットが作成される。

次にHadoopのマスターノード上で$HADOOP_HOME/conf/hadoop-site.xmlを編集する。


  fs.default.name
  s3://h2plus-hadoop-hdfs



  fs.s3.awsAccessKeyId
  Your Access key ID



  fs.s3.awsSecretAccessKey
  Your Secret Access Key

fs.default.nameを先ほど作成したS3バケットへのURLに変更して、後続の行にfs.s3.awsAccessKeyIdとfs.s3.awsSecretAccessKeyというプロパティを追加する。fs.s3.awsAccessKeyIdとfs.s3.awsSecretAccessKeyの値は、前編でhadoop-ec2-env.shに設定したものと同じで、AWSのSecurity CredentialsページのAccess Credentialsに表示されていたものだ。

これでHDFSがS3上にマウントされるようになった。

まず、WordCount用の入力データをHDFSに転送する。AWSの管理コンソールにはS3バケットにファイルをアップロードする機能がついているが、HDFSには対応していないためhadoop dfsコマンドを使う必要がある。

cluster# cd ~/wordcount
cluster# hadoop dfs -mkdir input
cluster# hadoop dfs -put input/* input

AWSの管理コンソールからS3バケットの中身を見てみると、なにやらファイルがたくさん作られているのがわかる。

では同じようにHadoopクラスタにWordCountを処理させてみよう。

cluster# hadoop jar wordcount.jar org.apache.hadoop.examples.WordCount input output
12/01/24 20:34:08 INFO mapred.FileInputFormat: Total input paths to process : 100
12/01/24 20:34:10 INFO mapred.JobClient: Running job: job_201201241846_0001
12/01/24 20:34:11 INFO mapred.JobClient:  map 0% reduce 0%
...
12/01/24 20:37:27 INFO mapred.JobClient:     Combine input records=157747
12/01/24 20:37:27 INFO mapred.JobClient:     Map output records=157747
12/01/24 20:37:27 INFO mapred.JobClient:     Reduce input records=56339
cluster# hadoop dfs -ls output
Found 2 items
drwxrwxrwx   -          0 1969-12-31 19:00 /user/root/output/_logs
-rwxrwxrwx   1     186137 1969-12-31 19:00 /user/root/output/part-00000

設定ファイル（hadoop-site.xml）を変更するだけで、簡単にS3のクラウドストレージ上に分散ファイルシステムを構築することができた。

Hadoopクラスタのマスターノードからログアウトして、クラスタ用のEC2インスタンスをすべて停止させた後でも、ローカル環境にHadoopをインストールしておけば、後からクラスタの出力を取得することができる。

cluster# exit
ubuntu$ hadoop-ec2 terminate-cluster  hadoop-cluster
ubuntu$ exit
local$ hadoop dfs -ls output
Found 2 items
drwxrwxrwx   -          0 1969-12-31 19:00 /user/root/output/_logs
-rwxrwxrwx   1     186137 1969-12-31 19:00 /user/root/output/part-00000
local$ hadoop dfs -get output/part-00000

感想

ギークサロンで手を動かしてHadoopに触ったのはここまでだった。だいたい18時くらいから人が集まりだして、22時近くまで「あ～そうか！」とか「動かねぇorz」とかこぼしながら、参加者全員がラップトップに向かって黙々とHadoopと戯れていた。

今回、山中氏が準備してくださった事前資料は、「Hadoopって聞いたことあるけど触ったことない」という参加者を想定して作られていたこともあり、ウィザード形式で着々とHadoopの環境を整備することができ、ギークサロンではHadoopの分散並列処理を目の前で体感することができた。

実はギークサロンで予定されていた内容はもうワンステップ先があり、1GBほどのfacebookのユーザーデータを解析するという、より実践的なハッカソンとなるはずで、このブログエントリのソースにもなっている山中氏の資料でも続きがあるのだが、ひとまずはHadoopの入門ということでここで区切りたいと思う（余裕があったら別エントリ立てるかも）。

ブログへの転載を快諾してくださった山中仁氏に、この場を借りて御礼申し上げます。

64ビット環境で32ビット版boostバイナリをインストールする

Hiro — Mon, 23 Jan 2012 06:17:53 +0000

64ビット版Fedora14にboost-1.48.0の32ビット版バイナリをインストールしようとしたら、結構手こずってしまったので忘れないようにメモ。RPMがあればyumでインストールしてしまいたいが、あいにくFedora14のRPMリポジトリはboost-1.44.0以降、更新される気配がなくなってしまったので（本エントリ執筆時点でFedora16はboost-1.47.0まで公開されていた）、自前でビルドせざるを得なくなった。開発マシンが32ビット環境から64ビット環境に変わっても、32ビット版のモジュールをコンパイルすることはまだあるので、64ビット環境でも32ビット版を一緒にコンパイルできた方がずっと楽だ。

まず64ビット版のboostをビルドするには、Boost Getting Started on Unix Variantsの手順に従えばなんなくビルドできるのだが、バージョンアップを考慮してインストール先のディレクトリをデフォルトから変更してビルドする。

$ tar zxf boost_1_48_0.tar.gz
$ cd boost_1_48_0
$ ./bootstrap.sh --libdir=/usr/local/lib64/boost_1_48_0 \
  --includedir=/usr/local/include/boost_1_48_0
$ ./b2
$ sudo ./b2 install

boostを使ったC++ソースをコンパイルする場合は、-Iオプション、-Lオプションを使ってサーチパスを追加すればよい。

$ g++ -I/usr/local/include/boost_1_48_0 \
  -L/usr/local/lib64/boost_1_48_0 -o test main.cpp

では、64ビット環境で32ビット版のboostをビルドするにはどうすればよいか？Boost.Buildのドキュメントを見ると、bjamの引数でaddress-modelオプションを追加できるようなので、32ビット版としてコンパイルするようにオプションを指定する。

$ ./bootstrap.sh --libdir=/usr/local/lib/boost_1_48_0 \
  --includedir=/usr/local/include/boost_1_48_0.i686
$ ./bjam address-model=32
$ sudo ./bjam address-model=32 install
$ sudo rm -rf /usr/local/include/boost_1_48_0.i686

共有ライブラリのインストール先ディレクトリは64ビット版（/usr/local/lib64）と区別するように、/usr/local/lib配下に32ビット版を配置する。

ヘッダファイルは/usr/local/include/boost_1_48_0.i686にインストールしているが、32ビット版も64ビット版も同じなのでインストール後に削除。

32ビット版のプログラムをコンパイルする場合も同じようにサーチパスを追加してやればよいと。

$ g++ -m32 -I/usr/local/include/boost_1_48_0 \
  -L/usr/local/lib/boost_1_48_0 -o test main.cpp

Hadoopで始める並列データ解析／前編

Hiro — Sat, 21 Jan 2012 07:21:36 +0000

1月13日（金）にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。もうそれだけで、いつものギークサロンよりハードルが高いのだが、当日は15人ほどのギークたち（中には3日前にベイエリアに来たばかりという学生もいた）が集まって、おのおのラップトップとにらめっこしながらHadoopと戯れていた。

今回のギークサロンをホストしてくださった山中仁氏が、EC2上にHadoopクラスタを構築する方法を、参加者向けの資料としてWeb上に準備してくださり、「Hadoop＝未知の領域」だった自分でもすんなりHadoopクラスタを組むことができた。だが残念なことに、この資料自体がEC2上に一時的に立てたサーバーに置かれており情報が恒久的には残らないとのこと（山中氏談）なので、山中氏に一部転載の許可をいただき、自分なりの咀嚼も含めてEC2上にHadoopクラスタを構築する手順を書き留めておくことにした。

概要

Hadoopは並列分散処理を行うための仕組みなので、当然のことながら複数台のマシンを用意する必要がある。自前で物理的なマシンを並べたり、ローカルに仮想マシンを並べたりすることも可能だが、手っ取り早くHadoopを動かすのであれば、Amazon EC2を使うのが時間的にも金銭的にも手軽である。

大まかな手順としては、まずHadoopをコントロールするためのLinuxマシンをEC2上に用意する。そこにHadoopとEC2 API Toolsをインストールして、Hadoopを利用するための環境をセットアップする。計算処理を行うためのHadoopクラスタを立ち上げ、処理用の入力データをアタッチして、メインとなる処理を実行する。最後に処理結果の出力データを抽出する。

Amazon EC2へのサインアップ

なによりも先に、AWS (Amazon Web Services)、およびEC2 (Elastic Compute Cloud)が使えなければならないので、AWSのアカウントを持っていない場合は、以下のサイトを参考にしてサインアップしよう。

Amazon EC2とRoute 53のはじめかたその１：サインアップ | WebOS Goodies

AWSにサインアップしたら（既にAWSアカウントを持っている場合も同じ）、AWSのホームページの右上にあるMy Account / ConsoleからAWS Management Consoleをクリックする。

メールアドレスとパスワードを入力してサインインしよう。

EC2上でLinuxマシンを起動

管理コンソールが開いたらEC2のタブを選択する。左側のNavigationメニューにあるRegionは[US East]にしておく（インスタンス費が一番安いので）。今回AWSにサインアップしたばかりの人は、無料なので気にすることはないだろう。

次にEC2上でクライアントとして起動させるLinuxのマシンイメージ（AMI）を選択する。Linuxのディストリビューションは好みもあるだろうが、ここではUbuntu 10.10の公開AMIリストからEBS上でブートできる64ビットマシンを使うことにする。なお、Ubuntuの他のバージョンの公開AMIリストは、EC2スターターズガイドから辿ることができる。US EastリージョンでEBSブータブルな64ビットマシンのAMIを探すと、ami-cf33fea6というAMIが見つかる。後ほど検索に使うのでイメージIDをメモしておく。

管理コンソールに戻り、Regionが[US East]になっていることを確認して、EC2 Dashboardに表示されている[Launch Instance]ボタンをクリックする。

[Launch Classic Wizard]を選択して、[Continue]ボタンをクリックする。

[Community AMIs]タブを選択して、上部の検索フォームに先ほどメモしておいたami-cf33fea6を入力すると、UbuntuのAMIが見つかるので[Select]ボタンをクリックする。

インスタンスの種類は一番下のスペックでも十分なのでMicroインスタンスを選択。Availability Zoneは[us-east-1c]を選んで、[Continue]ボタンをクリックする。

このページはデフォルトのまま[Continue]ボタンをクリック。

このページも基本デフォルトのままでもいいが、他にもEC2のインスタンスを立ち上げている場合は、EC2 Dashboardでインスタンスを見つけやすいように名前を付けておくといいだろう。

UbuntuにSSHでアクセスする際に使用するRSA秘密鍵／公開鍵の鍵ペアを新たに作成する。鍵ペアの名前をここではec2-hadoopとして、[Create & Download your Kay Pair]をクリックすると、ec2-hadoop.pemというファイルがダウンロードされる。SSHでアクセスする際に必要になる秘密鍵なので、うっかり消さないように要注意（失くしたらまた新しい鍵ペアを作らなければならない）。

UbuntuにSSHでアクセスできるようにするためファイアウォールに穴を開ける。[Create a new Security Group]のラジオボタンを選んで、Group NameとGroup Descriptionはわかりやすいようなものを入力しておく。[Create a new Rule]でSSHを選択して[Add Rule]ボタンをクリックする。右側の一覧にSSHが追加されたことを確認したら[Continue]ボタンをクリックする。

最後にウィザードで設定した内容の確認ページが表示され、[Launch]ボタンをクリックすると、EC2上にUbuntuのインスタンスが作成・起動される。

EC2の管理コンソールで左側のNavigationメニューからInstancesを選ぶと、インスタンスの起動状態が確認できる。

最後に必須ではないが、もし今回AWSにサインアップしたばかりであれば、Elastic IPが1つ無料で使えるらしいので、インスタンスにグローバルIPを割り当てておくといいだろう。NavigationメニューからElastic IPsを選び、[Allocate New Address]ボタンをクリックすると、さらにダイアログが出てくるので[Yes, Allocate]ボタンをクリックする。

追加されたElastic IPを右クリックすると、[Release]と[Associate]というプルダウンが出てくるので、[Associate]をクリック。Elastice IPを割り当てるインスタンスに、先ほど起動させたhadoop-clientを選択して[Yes, Allocate]ボタンをクリックする。

Elastic IPを使わない場合は、インスタンス起動時に割り当てられるパブリックDNS名でアクセスすることになる。NavigationメニューのInstancesからhadoop-clientのインスタンスを選択して、画面下部に表示される詳細情報にあるPublic DNSをメモしておこう。Elastic IPを使えばインスタンスを再起動しても同じIPアドレスでアクセスできるが、パブリックDNSはインスタンスが起動するたびにコロコロ変わる。短時間で遊ぶ分にはパブリックDNSでも十分だろう。

えらくスペースを割いてしまったが、ここまではHadoopはまったく関係ない。EC2上にLinuxマシンを立ち上げたに過ぎない。

HadoopとEC2 API Toolsのインストール

EC2をセットアップする過程でダウンロードしたSSH用の秘密鍵を使って、UbuntuのインスタンスにSSHでログインして、Hadoopに必要なソフトをインストールしていく。WindowsならばTeraTermやPuTTYを使う。Linux/Macならばターミナルからアクセスする。

ダウンロードした秘密鍵（ec2-hadoop.pem）は、~/.sshディレクトリに移動してパーミッションを600に変更する。ファイル名も秘密鍵だとわかるようにid_rsa.ec2-hadoopに変更しておく。

local$ mv ~/Downloads/ec2-hadoop.pem ~/.ssh/id_rsa.ec2-hadoop
local$ chmod 600 ~/.ssh/id_rsa.ec2-hadoop

インスタンスにElastic IPを割り当てた場合はIPアドレスを、Elastic IPを使っていない場合はパブリックDNSを、接続先のホストとして指定することになる。Ubuntuコミュニティが提供しているAMIには予めubuntuというユーザーが作られているので、このアカウントを使ってログインする。sshで指定するオプションが非常に長くなるので、~/.bashrcあたりにエイリアスを書いおこう。

export EC2_HADOOP_HOST="ec2-50-17-70-166.compute-1.amazonaws.com"
export EC2_HADOOP_KEY=~/.ssh/id_rsa.ec2-hadoop
alias ec2hadoop="ssh -i $EC2_HADOOP_KEY ubuntu@$EC2_HADOOP_HOST"

これでec2hadoopとタイプするだけで、Ubuntuにログインできるようになる。

local$ . ~/.bashrc
local$ ec2hadoop
The authenticity of host 'ec2-50-17-70-166.compute-1.amazonaws.com (50.17.70.166)' can't be established.
RSA key fingerprint is 66:65:ef:40:2a:49:67:e2:dd:4e:42:d3:00:a2:f4:ad.
Are you sure you want to continue connecting (yes/no)? yes

ubuntu$

まずはHadoopとEC2 API Toolsを動作させるためにJDKをインストールする。

ubuntu$ sudo apt-add-repository "deb http://archive.canonical.com/ lucid partner"
ubuntu$ sudo apt-get update
ubuntu$ sudo apt-get install sun-java6-jdk

次にEC2 API Toolsをインストールする。

ubuntu$ sudo apt-add-repository ppa:awstools-dev/awstools
ubuntu$ sudo apt-get update
ubuntu$ sudo apt-get install ec2-api-tools

最後にHadoopをダウンロードして、/usr/localに展開する。

ubuntu$ wget www.gtlib.gatech.edu/pub/apache/hadoop/core/hadoop-1.0.0/hadoop-1.0.0.tar.gz
ubuntu$ tar -zxf hadoop-1.0.0.tar.gz
ubuntu$ sudo mv hadoop-1.0.0 /usr/local/hadoop

UbuntuにHadoop、EC2 API Toolsをインストールする方法は、EC2スターターズガイドでも紹介されているので参考に。

EC2-Hadoopクラスタの設定

HadoopにはデフォルトでEC2上にクラスタを構築する機能が搭載されている。これを利用するために必要なセットアップを行っていく。

まず、HadoopがEC2にアクセスするためのX.509証明書と秘密鍵を、AWSの管理コンソールからダウンロードする。AWSの管理コンソールの右上にあるアカウントメニューから[Security Credentials]をクリックする。

Access Credentialsの[X.509 Certificates]タブを選択して[Create a new Certificate]をクリックする。

[Download Private Key File]ボタンと[Download X.509 Certificate]ボタンをそれぞれクリックすると、秘密鍵とX.509証明書がダウンロードされる。ダウンロードが完了したら[Close]ボタンをクリックする。

ダウンロードしたX.509証明書と秘密鍵を、EC2上のUbuntuにscpでアップロードする。Windowsの場合は、WinSCPを使うといいだろう。

local$ cd ~/Downloads
local$ mv pk-XXXXXXXXXXXXXXXXXXXXXXXXXXXX.pem pk.pem
local$ mv cert-XXXXXXXXXXXXXXXXXXXXXXXXXXXX.pem cert.pem
local$ scp -i $EC2_HADOOP_KEY ~/Downloads/{pk,cert}.pem \
  ubuntu@$EC2_HADOOP_HOST:/home/ubuntu

なお、Ubuntuの環境はHadoopの利用専用で、かつ自分以外に他のユーザーが使わないという前提で設定している。もし、既存の共用Linux環境で設定する場合は、秘密鍵の保存ディレクトリやパーミッションを適切に設定するように。

Ubuntuに再度SSHでログインして、HadoopとEC2 API Toolsを使う上で必要になる環境変数を~/.profileに追記していく。

local$ ec2hadoop
ubuntu$ vi .profile

# 以下のスクリプトを追記する
export JAVA_HOME="/usr/lib/jvm/java-6-sun"
export EC2_HOME="/usr/lib/ec2-api-tools"
export HADOOP_HOME="/usr/local/hadoop"
export PATH="$PATH:$EC2_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/src/contrib/ec2/bin"
export EC2_PRIVATE_KEY="$HOME/pk.pem"
export EC2_CERT="$HOME/cert.pem"

~/.profileを読み込んで、ec2-describe-instancesコマンドが実行できることを確認する。

ubuntu$ . .profile
ubuntu$ ec2-describe-instances

UbuntuがHadoopクラスタとの通信するために使うアクセスキーを、id_rsa-gsg-keypairというファイルに保存する。id_rsa-gsg-keypairファイルは$EC2_PRIVATE_KEYが保存されているディレクトリと同じにする必要がある。また、パーミッションは600に設定する。

ubuntu$ ec2-add-keypair gsg-keypair | tail -n +2 > id_rsa-gsg-keypair
ubuntu$ chmod 600 id_rsa-gsg-keypair

最後にhadoop-ec2-env.shを編集して、HadoopのEC2クラスタ用の環境変数を設定する。

ubuntu$ vi $HADOOP_HOME/src/contrib/ec2/bin/hadoop-ec2-env.sh

設定が必要な箇所は18～25行目にある3つの変数。

AWS_ACCOUNT_ID
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY

AWS_ACCOUNT_IDは、AWSのSecurity Credentialsページの右上、Account Numberに表示されている12桁の数字（設定時はハイフンを取り除く）。

次にアクセスキーを作成する。同じくSecurity CredentialsページにあるAccess Credentialsの[Access Keys]タブを選択して[Create a new Access Key]をクリックする。

AWS_ACCESS_KEY_IDには、作成したアクセスキーの[Access Key ID]欄の文字列を指定する。AWS_SECRET_ACCESS_KEYには[Show]をクリックしたときに表示される文字列を設定する。

hadoop-ec2-env.shを保存したら、いよいよHadoopのクラスタを立ち上げる。

ubuntu$ hadoop-ec2 launch-cluster hadoop-cluster 2

3番目の引数hadoop-clusterはクラスタ群に付ける名前なので任意で構わない。最後の引数では起動するスレーブクラスタの数（今回は2台）を指定している。クラスタの起動にはかなり時間がかかるので、コーヒーでも飲みながら待つこととしよう。

これでHadoopを使うための準備は完了である。EC2をセットアップするところから説明してきているので非常に面倒な気もするが、物理マシンや仮想マシンを自前で用意するよりもずっと楽なはず。

クラスタの起動が完了したら、Hadoopのマスタークラスタにログインして、試しにサンプルの円周率計算ソフトを実行してみよう。

ubuntu$ hadoop-ec2 login hadoop-cluster
cluster# hadoop jar $HADOOP_HOME/hadoop-0.19.0-examples.jar pi 10 10000000
Number of Maps = 10 Samples per Map = 10000000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
12/01/19 21:41:34 INFO mapred.FileInputFormat: Total input paths to process : 10
12/01/19 21:41:35 INFO mapred.JobClient: Running job: job_201201192136_0001
12/01/19 21:41:36 INFO mapred.JobClient:  map 0% reduce 0%
12/01/19 21:41:48 INFO mapred.JobClient:  map 10% reduce 0%
12/01/19 21:41:53 INFO mapred.JobClient:  map 20% reduce 0%
12/01/19 21:42:00 INFO mapred.JobClient:  map 30% reduce 0%
12/01/19 21:42:01 INFO mapred.JobClient:  map 40% reduce 0%
12/01/19 21:42:03 INFO mapred.JobClient:  map 50% reduce 0%
12/01/19 21:42:04 INFO mapred.JobClient:  map 60% reduce 0%
12/01/19 21:42:09 INFO mapred.JobClient:  map 70% reduce 0%
12/01/19 21:42:11 INFO mapred.JobClient:  map 80% reduce 0%
12/01/19 21:42:14 INFO mapred.JobClient:  map 90% reduce 6%
12/01/19 21:42:17 INFO mapred.JobClient:  map 100% reduce 20%
12/01/19 21:42:22 INFO mapred.JobClient:  map 100% reduce 26%
12/01/19 21:42:23 INFO mapred.JobClient:  map 100% reduce 100%
12/01/19 21:42:24 INFO mapred.JobClient: Job complete: job_201201192136_0001
12/01/19 21:42:24 INFO mapred.JobClient: Counters: 16
12/01/19 21:42:24 INFO mapred.JobClient:   File Systems
12/01/19 21:42:24 INFO mapred.JobClient:     HDFS bytes read=1180
12/01/19 21:42:24 INFO mapred.JobClient:     HDFS bytes written=255
12/01/19 21:42:24 INFO mapred.JobClient:     Local bytes read=366
12/01/19 21:42:24 INFO mapred.JobClient:     Local bytes written=1066
12/01/19 21:42:24 INFO mapred.JobClient:   Job Counters
12/01/19 21:42:24 INFO mapred.JobClient:     Launched reduce tasks=1
12/01/19 21:42:24 INFO mapred.JobClient:     Launched map tasks=10
12/01/19 21:42:24 INFO mapred.JobClient:     Data-local map tasks=10
12/01/19 21:42:24 INFO mapred.JobClient:   Map-Reduce Framework
12/01/19 21:42:24 INFO mapred.JobClient:     Reduce input groups=2
12/01/19 21:42:24 INFO mapred.JobClient:     Combine output records=0
12/01/19 21:42:24 INFO mapred.JobClient:     Map input records=10
12/01/19 21:42:24 INFO mapred.JobClient:     Reduce output records=0
12/01/19 21:42:24 INFO mapred.JobClient:     Map output bytes=320
12/01/19 21:42:24 INFO mapred.JobClient:     Map input bytes=240
12/01/19 21:42:24 INFO mapred.JobClient:     Combine input records=0
12/01/19 21:42:24 INFO mapred.JobClient:     Map output records=20
12/01/19 21:42:24 INFO mapred.JobClient:     Reduce input records=20
Job Finished in 50.49 seconds
Estimated value of PI is 3.14146444

3.141までしか計算合ってないが…とりあえず動いていることは確認できた。

立ち上げたクラスタをそのまま放置してしまうとEC2で課金されてしまうので、不要になったらクラスタを落としておこう。自分はギークサロンの前日に準備だけして当日まで放置しておいたら、HadoopのクラスタがLinuxのSmallインスタンスとして起動することもあり（マスタークラスタ1台とスレーブクラスタ2台の計3台分）、一晩で$6くらい課金されてしまったorz

hadoop-ec2 terminate-cluster hadoop-cluster

参考サイト

後編に続く

My Favorite Buffalo Wings

Hiro — Wed, 18 Jan 2012 05:57:31 +0000

バッファローウィングと言えば、ビールのお伴にぴったりなアパタイザーだが、外で食べるとどうも味が濃くて、チキンを食べているというよりもソースを食べている感覚になる。喉が渇いてビールを加速させるという算段なのだろうが…

そんな味の濃いバッファローウィングに飽きてしまったら、さっぱり系のバッファローウィングはいかがだろうか？Sprouts Farmers Marketにお気に入りのバッファローウィングがある。

店内に入って右側に肉とシーフードのコーナーがあり、赤いソースに漬かった手羽先が陳列されている。以前はBuffalo Wingsというラベルがあったのに、先日行ったときにはHot Winggestとかいう微妙な命名がされていたので、同じ商品かどうか悩ましかったが、食べてみたら味は変わっていなかった（実に紛らわしい）。

Sproutsはオーガニックな商品を取り揃えている店だけあって、チキンがジューシーでやわらかくて美味しい。味付けも軽いスパイシーさと酸味が絶妙。バッファローウィングと言えばサワークリームが定番だが、Sproutsのバッファローウィングはサワークリームなどつけてはもったいない。

値段は$3.49/lbくらいで、妻と二人で食べるには1ポンド（12本くらい）でちょうどいい。オーブンで350～400Fで15分も焼けばできあがり。BBQでも人気の一品である。焼き過ぎてしまうとジューシーさが失われてしまうので放置プレイは禁物だ。

Sprouts Farmer’s Market
111 East El Camino Real, Sunnyvale, CA

View Larger Map