2016年 8月 の投稿一覧

昨日の続き。

繰り返しになるが、解決したい課題と現状は、

• 数ギガサイズのアクセスログがある
• 上記に対して数万パターンの文字列それぞれが何回出現するかを数え上げたい

という状況。なので、このログファイルをngroongaを介してgroongaのデータベースを新規作成し、そこに格納してみる。

もちろん事前にGroongaのインストールが必要なのでインストールする。Macであればbrewでインストールすることができる。

$ brew install groonga

で、次に、

• Groonga DB作成
• DBへデータを格納するためのテーブル作成
  • 今回はシンプルに1テーブルにbodyという1カラムを作ってそこにアクセスログ1行分を格納する
• 上記のテーブル中のカラムを全文検索するための語彙表(インデックス)用のテーブル作成
• テキストファイルベースのログファイルを格納

という上記の一通りの作業は以下のコードで実現できる。

var nroonga = require('nroonga'),
byline = require('byline'),
fs = require('fs');
var db = new nroonga.Database('db/accesslog');
db.commandSync('table_create Logs TABLE_NO_KEY');
db.commandSync('column_create Logs body --type Text');
db.commandSync('table_create', {'name':'LogIndexes', 'flags':'TABLE_PAT_KEY',  'key_type':'ShortText', 'default_tokenizer':'TokenBigram', 'normalizer':'NormalizerAuto'});
db.commandSync('column_create', {'table':'LogIndexes', 'name':'body_index', 'flags':'COLUMN_INDEX|WITH_POSITION', 'type':'Logs',  'source':'body'});
var stream = fs.createReadStream('access.log', { encoding: 'utf8' });
stream = byline.createStream(stream);
stream.on('data', function(line) {
var log = JSON.stringify([
{'body':line}
]);
db.commandSync("load", {'table':'Logs', 'values': log});
});
stream.on('finish', function(){
console.log("Finish parse log file.");
db.close();
});

上記の格納が完了した後*1、実際に格納した情報にたいして全文検索するには以下の様に select のクエリを発行する。limit:0 を指定することでGroongaでは件数のみを取得できるので、例えば今回格納したログファイル中に「Windows」という文字列が何回出現したかということを得たい場合は以下の様な形になる。

var nroonga = require('nroonga');
var db = new nroonga.Database('db/accesslog');
var res = db.commandSync('select', {'table': 'Logs', 'match_columns':'body', 'query': 'Windows', 'limit':0});
console.log(res);
//=> [ [ [ 1869923 ], [ [Object], [Object] ] ] ] 

かなり気楽に全文検索できる状態を作れる。最初スクリプトとgrepツールで解決しようと思ったが少し時間がかかりすぎなところがあったので対象を絞ることを考えていたりしたが自分が解決したかったことは解決できそう。

例えばサービスの方針等々を検討する際の数値集めが簡単に行える様にするためにログ基盤を整える等が最も正しい解決策だとは思うのだが、ひとまず何かしらログが残されていれば手元にこういった環境を作って調べてみるのも一つのやり方かなと思う。

参照

GitHub - nroonga/nroonga: A library for building Groonga powered nodes

Groonga - カラムストア機能付き全文検索エンジン

東京は朝から雨。

空いた時間でnroongaと戯れる。

nroongaはNode.js用のGroongaバインディングで全文検索エンジンのGroongaをライブラリとして利用できる。よって検索のプロセス自体はNode.jsが担うことになる。

手元にとあるサーバーのログがあって、それに対して対象とする文字列にマッチする行をカウントする的なことをしたくなったのだけど、サイズが数ギガ単位で微妙に大きいのとマッチングしたい対象文字列が多いので、であれば全文検索エンジンに一度該当ログを突っ込んでから多様な条件でカウントさせればいいのではということを試してみている。なんで今、Groongaなのかと問われれば「使ったことがないから」。

案外もしかしたらもっとお手軽ソリューションあるのかもしれないけど、目の前の課題を解決するための方法としてはありなのかなと思う次第。

気分転換するときはやわらかな生命を読む。「シンプルな均衡」という文章が掲載されているのだけど、アンバランスなシステムに関する提言はなるほど感があった。

エネルギーをできるだけ等身大の、生命に親和的な方法で得ること。ヘロンの公式の美しさは、そのシンプルな均衡にある。近代が推し進めてきた方法の美醜が、いまあらためて問い直されているのだと福岡ハカセは思う。

福岡伸一, やわらかな生命 p.48

世の中の万物のシステムは何かしらのエネルギー(経済活動としての対価も含む)を得る目的で運営されている以上、アンバランスな体のまま何かしらを得ることは何事も難しいのかもしれないということを端的に表現した文章だなと思った。

特別遠出する予定もなく、ほぼ自宅で過ごしていたので少し厚めの本も含めて読んでいた。もっと読みたい本があったのだけど夏バテ状態だったのかほとんど横になっている多かった感じもするが読めただけ多少は得たものもあっただろうと思うことにする。

[ECブランディング特集]販促会議2016年9月号はECブランディング特集ということで、とても中身が自分にとっては充実している内容で読み応え合った。なんらかECに関するサービスに携わっている人であれば必読感高い。

確率思考の戦略論 USJでも実証された数学マーケティングの力はUSJのマーケターとアナリストの人が書いた本でUSJの集客数を拡大させた新アトラクション(ハリーポッターのテーマパーク)の開発を進める際の分析術が書かれていて、恐らく何かしらの対人サービスに携わっている人がそれとなく意識をしていることをロジカルに整理された内容だった。例えば題材と出されていた洗剤の年間購入回数がどの様な分布をするかといったところについて、具体的にどの様な確率分布(=ポアソン分布)になっているかについても書かれていて、直感的にその様な分布になっているだろうなと思い描くことと、数式として表現して考えることでは思考に差が出てきそうだなと自戒。

数式的な表現による考え方以外にもチーム論だったりビジネス戦略の焦点について以下の3つで考える点も非常にシンプルでわかりやすい。

• 自社ブランドへのプレファレンスを高める (好意度, Preference)
• 認知を高める (認知度, Awareness)
• 配荷を高める (Distribution)

チームのことだけ、考えた。―――サイボウズはどのようにして「100人100通り」の働き方ができる会社になったか

• 作者: 青野慶久,疋田千里
• 出版社/メーカー: ダイヤモンド社
• 発売日: 2015/12/18
• メディア: 単行本（ソフトカバー）
• この商品を含むブログ (4件) を見る

花森安治の編集室 「暮しの手帖」ですごした日々 (文春文庫)

• 作者: 唐澤平吉
• 出版社/メーカー: 文藝春秋
• 発売日: 2016/04/08
• メディア: 文庫
• この商品を含むブログ (1件) を見る

確率思考の戦略論 USJでも実証された数学マーケティングの力

• 作者: 森岡毅,今西聖貴
• 出版社/メーカー: KADOKAWA/角川書店
• 発売日: 2016/06/02
• メディア: 単行本
• この商品を含むブログを見る

[ECブランディング特集]販促会議2016年9月号

• 出版社/メーカー: 宣伝会議
• 発売日: 2016/08/01
• メディア: 雑誌
• この商品を含むブログを見る

特に何をするわけでもなく夏休みを過ごしている。

ふと思い立って夕方、飛行場の近くの公園の丘から飛び立つ飛行機を眺めていた。

すっと現れて滑走路へ着陸していく飛行機はとても綺麗だった。

以前紹介した google-search_rank | RubyGems.org | your community gem host のインスパイア。

再発明感あるけどGoogleのCustom search APIを操作するgoogle-searchというクライアントを使って任意の条件で検索をかけて検索順位を取っている。

該当APIで取得した検索結果の情報と検索順位がコールバックされる。

引数で検索ワード, 対象ドメイン, 最大検索結果何ページ目までを走査するかを指定する。

var searchrank = require('google-search-rank');
searchrank.key = '(API Key)';
searchrank.cx  = '(Custom search engine ID)';
searchrank.find("安住紳一郎の日曜天国", "hideack.hatenablog.com", 10, function(rank, result){
console.log("RANK => " + rank);
console.log(result);
});

とすると

RANK => 70
{ kind: 'customsearch#result',
title: '「安住紳一郎の日曜天国」というラジオ番組を毎週聞いている話 ...',
htmlTitle: '「<b>安住紳一郎の日曜天国</b>」というラジオ番組を毎週聞いている話 ...',
link: 'http://hideack.hatenablog.com/entry/2016/04/20/225328',
displayLink: 'hideack.hatenablog.com',
snippet: '2016年4月20日 ... 安住紳一郎の日曜天国 (通称 "にちてん")という番組があって自分は大好きなので毎週\n日曜日の朝10時から聞いているのですが、twitterで まもなくTBSラジオで安住紳一郎の\n日曜天国のお時間。今日はインスタントラーメン研究家 大山即席斎 ...',
htmlSnippet: '2016年4月20日 <b>...</b> <b>安住紳一郎の日曜天国</b> (通称 &quot;にちてん&quot;)という番組があって自分は大好きなので毎週<br>\n日曜日の朝10時から聞いているのですが、twitter��� まもなくTBSラジオで<b>安住紳一郎の</b><br>\n<b>日曜天国</b>のお時間。今日はインスタントラーメン研究家 大山即席斎&nbsp;...',
cacheId: 'Nckg46Amc5IJ',
formattedUrl: 'hideack.hatenablog.com/entry/2016/04/20/225328',
htmlFormattedUrl: 'hideack.hatenablog.com/entry/2016/04/20/225328',
(snip)

といった具合。あぁ、前回調べた時より大分順位下がったな。などといったことが知ることができて便利。

www.npmjs.com

先月は11作品。

WIRED VOL.23/特集 GOOD COMPANY いい会社
-
読了日：07月03日

インテル 世界で最も重要な会社の産業史
マイケル・マローン
読了日：07月03日

I/O (アイオー) 2006年 07月号 [雑誌]
-
読了日：07月09日

新・鉄道廃線跡を歩く4 近畿・中国編
-
読了日：07月10日

宣伝会議2016年7月号 巻頭特集「ロングセラー商品の活性化アイデア」
-
読了日：07月10日

藤田晋の仕事学 自己成長を促す77の新セオリー
藤田晋
読了日：07月23日

ターゲット・メディア主義―雑誌礼讃
吉良俊彦
読了日：07月23日

磯野家の謎
東京サザエさん学会
読了日：07月23日

ロケット・ササキ:ジョブズが憧れた伝説のエンジニア・佐々木正
大西康之
読了日：07月23日

サザエさん 2016 夏 (週刊朝日増刊)
長谷川町子
読了日：07月31日

花森安治「暮しの手帖」初代編集長 (暮しの手帖 別冊 (連続テレビ小説『とと姉ちゃん』花山伊佐次のモチーフ 花森安治の本))
-
読了日：07月31日