koeだめ 過去アーカイブ[〜2013-12-14]

最新情報は https://www.pixiv.net/fanbox/creator/3780274 にて

Fluentd Casual Talks #3でLT&Fluentd Advent Calendar 2013で記事書きしていました #fluentd

「ご家庭でFluentd」というタイトルでFluentd Casual Talks #3でLTしつつ、そのサブセットをFluentd Advent Calendar 2013の記事としてまとめました。

提示資料: https://speakerdeck.com/bash0c7/fluentd-in-my-sweet-home
記事: http://qiita.com/bash0C7/items/a8aea4810cc5ec6f1eb9

概要

構成: Fluentd on MBA -> Amazon SQS -> Fluentd on Raspberry Pi

MBA

MBAではtd-agentを動かしています。
プラグイン開発・検証を行う場合は、https://rubygems.org/gems/fluentd を利用しています。

Raspberry Pi

Fluentdは https://rubygems.org/gems/fluentd を利用しています。
Rubyはrbenv + ruby-buildのいつものやり口です。

Amazon SQS

Amazon SQSを使っているのは、以下の理由です。

  • 外部からの通信を待ち受けるポートを開けたくないこと
  • 無料利用枠がめっちゃ広くて非常に安価に使えること*1
  • エンタープライズな信頼性の安心感があること

自分の話の補足

Fluentd Casual Talks #3で話をきいて思ったこと

覚えているうちに箇条書きで。

  • Norikra、自分が触っているところのサブシステムのFluentdでは次の手として入れたい
  • Shadowの仕組みは早急に入れよう…。Fluentdまわりのデプロイのプロセスやスクリプトを整理すればすぐやれるはず。
  • golang少し勉強しててよかった。個人的には http://stackoverflow.com/a/16138713 のアプローチでプラグインの高速化できるかなーって思ってて、冬休みの課題としてやってみたいところ。
  • ちょうどWindows機買おうか考えてたところだったので、Windowsで動くはいい話。
  • Treasure Agent Monitoring Service、早速使いたい!!と思い、名刺をお渡しした(^O^)
    • ツールの助けがあれば自分でなんとかできる部分が増えるのでとてもありがたい。
  • V11はちょうたのしみ!これははかどる。プラグイン対応始めなくっちゃ!!
  • (あとで書く)

今日のFluentプラグイン業。新規3つにフォーク1つ。

あとでなんのこっちゃわからなくなるのでメモ。
使い物になるかを実証したかったので、README書いたりテスト整えたりがまだこれからである。

新規3つ

調べても既存のものがなさそうなので作っているもの。

https://github.com/bash0C7/fluent-plugin-tumblr

tumblr投稿プラグイン。いまのところ画像のみ対応。
投稿する画像データはどこから取ってこようかが悩みどころ。
今のところは、Fluentに画像データがそのまんま生かbase64エンコードされて流れてくるものとして、このプラグインではキーとbase64エンコード済みかを指定するようにした。

https://github.com/bash0C7/fluent-plugin-imagefile

Fluentに流れている画像データをファイルに出力するプラグイン
tumblrプラグインの画像の取り扱いの派生版みたいな感じ。デバッグ用途に使う他、俺のzipフォルダを自動充実するときにも捗るはず。

https://github.com/bash0C7/fluent-plugin-rewriteimage

画像データを指すURLのファイルを読み込み、実画像データにしてFluentに放流し直すプラグイン
名前がなんかしっくりこない。これだとまるでフォーマット変換したり縮小したりという部分を扱いそうな感じである。
悩む。

フォーク1つ

先人の作ったものがあったので、フォークして機能追加を行っているところ。

https://github.com/bash0C7/fluent-plugin-twittersearch

指定されたキーワードもしくはハッシュタグTwitter検索するプラグイン
追加してるのは、下記3つ。

  • 特定のユーザの発言のみを取り出す機能
  • 画像付きツイート(Twitter gem的には、ツイートにmediaが付いているもの)の場合
  • そのmediaのURLを取り出してrecordに追加する機能とこの機能の有効無効切り替え、in_tailのpos fileと同じような仕組みでどこまで調べたかを保存してそれ以後を取得するようにする機能

そもそも上記の機能、本当に自分のニーズにマッチしているか、も少し使ってみてからプルリだしたい。

Elixir Advent Calendar 2013に参加していました #elixir

Elixir入門としてグループチャットのidobataにpostするスクリプト「idobatir」を書いてみた。」というタイトルで12/7に参加しました。

自分の書いたものは、「これからelixirを始めます。インストールして、動かし方しって、具体的なものを動かしてみましょう」という、いわゆるはじめの一歩的なものです。

「それってGETTING STARTEDでよくない?」

はじめの一歩的なものは elixirのGETTING STARTED で充足すればいいのですが、どうにもしっくり来なかったのです。
確かにその通りに進めたら、elixirならではの書き方を覚えることができるだろうというのはわかります。でもそれ以上より先に進むには、ちと自分にはステップが大きすぎたのです。

なので、今回のエントリーのような、「idobataにpostする」という日常的な題材でそのステップを短くしようと思ったのでした。

なお、Fluentd Advent Calendar 2013のページはこちらです。今からでも是非どうぞ!

http://qiita.com/advent-calendar/2013/elixir

"GEMBA is DEAD" #devlove

みんな気づいてる?私たちが、世界を変えるんだってことを---。

http://www.idolisdead.com/

この記事はDevLOVE Advent Calendar 2013「現場」 の25日目です。
hapickyさんからのバトンです。もしかしたら以前仕事でお世話になっていたかもしれません。とても縁というのもを感じます。

"GEMBA is DEAD"

わたしは、「現場」という言葉を使わないようにしています。

このAdvent Calendarのテーマは「現場」であり、現場大好きでこだわりをもっているみなさんが、書いたり読んだりしています。わたしだってその一員です。現場大好きです。でも、普段はこの言葉を使わないようにしています。

現場か会議室か

現場ときいくと、踊る大捜査線の有名な台詞が浮かんできます。「事件は会議室で起きてるんじゃない。現場で起きてるんだ!」ってやつです。
きっと我々が現場という言葉を使う時、自分の立っている場所こそが事件が起きる最前線であり、その最前線こそが各自が踏ん張っている現場であるという自負もあることでしょう。

ただ、最近思うんです。本当にここは最前線なのだろうかって。実はここは「会議室」なのではないのかって。

事件が起きているのはここか?

わたしのいる組織で最前線にいるのは、わたしの作るシステムと、わたしの作るシステムを使う同僚たちです。
わたしの作るシステム次第で、そのシステムによってユーザのみなさまに大きく喜んでもらったり、ひどいインパクトを与えてしまったりします。
わたしの作るシステム次第で、そのシステムは同僚たちの大きな武器となったり、ひどい足かせになってしまったりします。
つまり、事件が起きるのはユーザのみなさまとシステムとの間であり、同僚たちとお得意先との間なのです。それらの間こそがまさに最前線。すなわち「現場」だ。そう考えています。

ここは「会議室」だ

とはいえ、常時そんな事を考えられているわけではなく、普段の生活では自分と自分の周りとの間に起こる諸々にばかり目が向き、そこを事件が起こっている「現場」だと勘違いしてしまいます。
だからこそ、自分と自分のまわりは現場と呼ばずあえて「会議室」と位置づけよう。そして本当の「現場」に目を向け足を運び力を注ごう。そういうモチベーションで、わたしはこの「現場」を封じて、自分の立っている場所という意味でも使わないように心がけています。
もちろん、自分の立っている場所を指して現場と表現するのは間違った用法ではありませんし、正しい、いい見方だと思います。

明日のエントリー

明日はkimura_m_29さんです。よろしくお願いします!

印刷5分でオリジナルTシャツを作る

http://www.arton.jp/ で、1着からオンデマンドTシャツ印刷可能なので度々使っています。

画像入稿して、Tシャツの素材選んで、印刷してもらうだけなので非常に楽ちんです。

手順

  1. 画像を作る
    • 結構大きく印刷されるので最低300dpiとか普段印刷に縁のない人間にはえらいでかいと感じる解像度で。
    • macのプレビューでも作れる。解像度も変えれる。
  2. http://www.arton.jp/access.html みて、メールで画像を送る
  3. お店に行く
  4. Tシャツの種類、サイズ、色を選ぶ
  5. お店の人にメール確認してもらって、印刷イメージをみせてもらう
  6. 印刷実行してもらって5分待つ
  7. お金を払う。1着2500円。2着以上同時に注文すれば1着増えるごとに割引されていく。画像は個別に違うものでもOK!!

できあがりと着用イメージ

イベント、カンファレンスなどでお話させてもらうときに度々着用しています。

第2回 さくら石狩DC見学ツアーにて

「第2回 さくら石狩DC見学ツアー」 で色々感じ入ってきた #石狩DC

先だっての最新鋭データセンターに萌える「第2回 さくら石狩DC見学ツアー」 東京発に加え大阪発&札幌集合プランも - はてなニュース に参加してきました。

もっぱらアプリケーション書きに従事しており、インフラまわりを担当していたときもAWS利用だったので、データセンターはおろかサーバ室にもほとんど足を運んだことのない生活を送っていました。
なので、是非このツアーに参加して目を開きたいと思っていましたが、まったくもって自分の知らない世界が広がっていました。

凝らされた工夫に感じ入った


  • 発電機室の機器と二重壁ハック
  • レンジフードフィルターの兄貴分
  • 熱い空気は上に寒い空気は下にいく性質を活かした空調
  • 適切に暖かな温度と湿度の維持
  • とんでもなく高感度な煙感知
  • 管理事務室のみやすいサイネージ
  • ドライヤーで熱負荷試験

などなど、物理的な工夫の数々に心を奪われました。

帰ってゆっくり考えてみると、すごいのって実現された凝らされている工夫そのものだけではないんだよなあと。

例えば、

  • 徹底して後から変更を加えられるような内装
  • 整理されたケーブルと交差点を作らない敷設
  • 広くとられて整理されたスペース

など、今後も必要な工夫を入れていくのを前提にして丁寧に維持・運営が行われていることこそが、すべての工夫のベースであり、そういうようなことが事が自分には大いに足りないんじゃないかと考えこんでいるところです。

また、新しい棟が増え移動範囲が広くなるので、移動が大変になるという話で、セグウェイも考えたけど通路が狭すぎた…という話をきいて、そこは確かに変更難しそうであり、また全部が全部を変更用意な設計にはできないというところは、共通した悩みと言えるかもとも思いました。


田中社長に感じ入った

技術の話、意思決定の話、競合他社の話などなど、いずれもえらいわかりやすく解説いただいて、噂にはきいていたけど半端ないなあと感じました。
はて自分はどういう経験を積むとそうなれるのか…。

LTした

設定したり書き換えたりするのはスクリプトや機械の仕事で、我々がプロダクションなところに直接入って手で触れるところじゃないという話。
とはいえ、そういうところを残してしまったり、ついそういうオペレーションをしてしまったりしているので、まだまだ道半ばです。精進します。

次の機会があれば…!

2日目オプショナルツアーに参加しない選択をしたのですが、無理をおしてでもいっておくんだったなぁと思っているところです。*1
できれば次回あればまた参加して、より深く、また違う観点から見学させていただければと思っています。

あと、予習不足だったなぁというのも惜しいので、次回はデータセンターやハードウェアなどについてもそっと調べてからいこうと思います。

それにしても本当に素晴らしいツアーでした。本当にありがとうございました。

*1:念願の円山動物園に行けたので悔いが残るってわけじゃないんだけどね