« Migration Competency(移行コンピテンシー)とロウンチパートナー様のご紹介! | メイン | [OpsJAWS: やってみようシリーズ] CloudWatch × Zabbix連携による統合監視実現 »

[OpsJAWS: やってみようシリーズ] Splunk Cloud をはじめてみた

皆さん、こんにちは。Partner SA酒徳です。先日初陣を切った、海外SaaSやってみようシリーズ(通称黒船シリーズ)ですが、本日は第2段としてSplunk小松原様にSplunk Cloudの始め方についてご紹介頂きます。

1

みなさん、こんには。Splunkの小松原です。本日はSplunnk Cloudの使い方についてステップ バイ ステップでご紹介させて頂きます。Splunk CloudはAWS上に構築されており、AWSの良さを生かすようアーキテクティングされたSplunkプラットフォームを、サービスとしてご提供しています。

サービス・製品の説明と特徴

Splunk Cloudは、マシンデータ分析プラットフォームのSplunk EnterpriseをSaaS形式でご利用頂くことができるサービスです。クラウド、オンプレミス環境問わず、テクノロジーインフラ、セキュリティーシステム、及びビジネスアプリケーションから生成されるあらゆるマシンデータを、簡単に収集、分析、アクションすることができます。

Splunk Cloudは稼働率100%のSLAをご提供します。1日数GBのデータ収集から始め、10TB以上の収集規模にまでスケール可能であり、SOC2 Type2やISO 27001認定取得済みの高度にセキュアな環境で安心してデータ分析を実施して頂けます。

設定(構築)する内容

まずはSplunk Cloudを初めてお使いになる方向けに、データの取込みから簡単なデータ分析ができるまでをご紹介します。 お客様は、Splunk社へSplunk Cloudを申し込むだけで、すぐにオンプレミスにあるデータをネットワーク経由でアップロード、もしくはAWS上にあるデータを取込んで分析を開始することができます。Splunkサーバ環境のパフォーマンスチューニングや、増設、バックアップ、監視といった運用作業から解放され、ログやマシンデータの投入と分析、アラート、そしてアクションの自動化等に集中することができます。 今回は、Splunk Cloudの申し込みが済み、Splunk Cloudへのアクセスのメールをもらった状態から、どういう風にすすめていけばよいかをご紹介しましょう。

※Splunk Cloud Trialをホームページから お申し込みできるようになりました。英文になりますが、ぜひご利用ください。ご不明な点ありましたら、最後に記載するSplunk問い合わせメールアドレスまでご連絡下さい。

1. メールでクラウド準備完了メールを受け取る メールを受け取ったら、「Your Splunk Cloud URL」というところに、あなたのSplunk CloudへのURLが記載されています。パスワードは、クラウドを申し込んだ時に指定したものになります。

2

2. Splunk Cloudにアクセス

ログインページが表示されますので、UsernameとPasswordを指定します。

3

3. いつもと変わらないSplunkがそこに!ログインすると左のAppメニューにSplunk Enterpriseと同様に「サーチとレポート」Appと、それ以外にAppが2つほどあります。Splunk Enterpriseをご存知の方には、その他の画面は全く同じです。

4

4. お試しサンプルログをダウンロード

チュートリアルでSplunkが提供している、次のURLからダウンロードできるログを使って試してみましょう。
http://docs.splunk.com/images/Tutorial/tutorialdata.zip

まずはこのtutorialdata.zipをダウンロードします。

5

5. 超簡単!ブラウザからアップロード

Splunkの売りの一つに「Time To Value」というのがあります。「時は金なり(Time Is Money)」ではありませんが、人の時間というのは、とても貴重なものです。ログやマシンデータを取り込むのに、のろのろと作業していると効率が悪すぎます。

「Time To Value」=「すばやく価値を提供する」が本当なのか見てみましょう。

画面左上のメニューバーにある「設定」をクリックします。ポップアップが表示されますので、左側の「データの追加」をクリックします。

6

6. いよいよ取り込み準備

表示された画面には、ファイルをブラウザからアップロードできる「アップロード」、HTTPから直接データを受け取れるHTTP Event Collectorが選択できる「モニター」、オンプレミスの環境に設置したSplunk Forwarder経由で送ったオンプレミスのログやマシンデータを受け取る設定ができる「転送」ボタンがあります。このうち、「アップロード」をクリックしましょう。

7

7. ダウンロードしたサンプルログをzipのままアップロード

先ほどダウンロードしたサンプルログファイルをそのままドラッグ&ドロップしましょう。もちろん、解凍後のファイルを個別に取込むことも可能です。アップロードが済んだら、「次へ」ボタンを押下。

8

8. なにやら怪しげな画面が

「ソースタイプ」や「ホスト」、「インデックス」という言葉が出てきます。この「ソースタイプ」はこれから投入するログの種類を指定します。きちんと指定できれば、ログのフィールド抽出(フォーマット解釈)は綺麗に実行されます。「ホスト」はそのログを生成していたマシン名を指定するのがいいですね。今回はデフォルトでよいです。「インデックス」というのは、検索エンジンでいうところのインデックス。Splunkの場合は、データベースそのもののことを指しています。Splunkは独自のインデックスデータベースで動いています。とにかくここはそのまま「次へ」を押下。

9

9. 投入完了

最後に「実行」を押して、データの取り込み完了!

10

11

10. えっ!!そんなに簡単に?

嘘じゃありません。これでも、バリバリ検索できるようになっています。早速「サーチ開始」を押してみます。

12

11. おぉぉぉぉ!

画面が滑らかにサーっと検索されているのがわかります。気持ちいいですね!取込んだデータは以下の条件(Splunkではサーチと言います)で検索されています。

source="tutorialdata.zip:*" host="データ取込み時に指定したホスト名" 

13

このサーチの部分に気になるキーワードを入力してみると、簡単にキーワード検索が可能です。例えば、以下はerrorというキーワードを含むデータを検索します。

        error

以下の例だと、errorもしくはfailedのキーワードを含むデータです。

        error OR failed

簡単ですね!では、もっと面白い分析をやってみましょう。

12. データのログ別に時系列で可視化

一つのサーバが複数のサービスを提供している場合を考えましょう。ApacheによるHTTPサービス、Memcachedによるキャッシング、TomcatによるJavaアプリケーションの実行。それぞれのログを時系列に重ね合わせることによって、効率的にMemcachedにキャッシュできているか、想定以上にTomcatに負荷がかかっていないか、あるいはキャッシングのチューニングにまだまだ余地がある、などがわかります。

今回の例では、OSのSSHログ、ApacheのWebログ、DBのトランザクションログなので、イメージがつきづらいですが、手順は同じです。さきほどご説明した、「ソースタイプ」。これが鍵を握ります。もう一度取込んだ全てのデータを見てみましょう。

        source="tutorialdata.zip:*"

画面左の「sourcetype」というフィールドをクリックすると、簡単なサマリポップアップが出ます。

14

13. クリックひとつで可視化

ポップアップの中の「時間別トップ値」をクリックしてみましょう。なんということでしょう!これだけでログ種類別に時間別の推移を一発可視化できています。

15

この視覚エフェクトタブでは可視化の部品を選ぶことができます。棒グラフや面グラフなど様々用意されています。

16

今度はApacheのWebログだけを見てみましょう。

        sourcetype=access_combined_wcookie

画面左に色んな「フィールド」があるのが分かります。これはSplunkがデータ取込み時にフォーマットを自動解釈して「フィールド(項目)」として抽出してくれているためです。

先ほどの流れと同様に、「clientip」フィールドをクリックすると簡単なサマリポップアップが出ますので、「トップ値」をクリックしてみます。

17

簡単にトップ20件のアクセス元IPアドレスを可視化できています!可視化の部品としては、円グラフを選択しています。

18

14. サーチコマンドから可視化してみましょう

もう1歩踏み込んで、Splunkのサーチコマンドを使ってみましょう。これまでのクリック1つでのグラフ作成も実は“timechart”や“top”といったSplunkのサーチコマンドが裏で実行されていました。Splunkではこういったデータ分析するためのコマンドが多数用意されています。では一気に、先ほどみたIPアドレスがどこから来ているのか、というのを地図で可視化してみたいと思います。以下のサーチ文を入力します。

        sourcetype=access_combined_wcookie | iplocation clientip | geostats count by productId

簡単に地図に出せました!ついでに「productID(製品ID)」別のアクセス件数を円グラフで示しています。可視化の部品はCluster Mapを選択しています。

19

このサーチ文では、“iplocation”というコマンドでIPアドレスのフィールドである「clientip」を指定し、緯度経度の地理情報を計算しています。その後“geostats”コマンドで指定した「productId」フィールド(Webログには何の製品情報へアクセスしたかの記録が残っていたのですね)別の件数を計算しています。それぞれのコマンドは“|(パイプ)”でつないであります。たった1行のコマンドでここまで出来ました。

まとめ

いかがでしたでしょうか?

Splunk Cloudは、オンプレミスで動いていた今までのSplunkが、そのままクラウドで動くサービスです。サーチコマンドもレポート作成もすべて今までと同じ。サーバの運用はSplunk Cloudに任せてしまって、思う存分データ解析と調査分析を劇的に変えていきませんか?Splunk Cloudはいつでも24時間お客様をお待ち申し上げております。

次回以降のブログでは、Splunkの大きな特徴である複数データソースをいとも簡単に相関分析する方法、またセキュリティログデータ分析やAWS環境のアクセス分析などなど利用シーンに応じた具体的なSplunk Cloudでのデータ分析方法について、ご紹介していきたいと思います。

ライセンス体系とコスト

Splunk Cloudは1日に取込むデータ量に応じた課金体系となっています。

http://www.splunk.com/en_us/products/pricing.html#tabs/cloud

 お問い合わせ先

Splunk Cloudご利用に際してのお問い合わせは下記宛先までお願い致します。

[email protected]

03-6206-3780 

その他技術情報

Splunk Cloudでの設定やサーチに関しての技術的なご質問は、以下コミュニティサイトも是非ご利用下さい。日本語でのご質問も可能です。
https://answers.splunk.com/
Splunk Cloud製品ドキュメントページ(英語)
http://docs.splunk.com/Documentation/SplunkCloud
Splunk Searchチュートリアル(日本語)※パート2以降参照下さい。
http://docs.splunk.com/images/d/da/Splunk-6.3.0-ja_JP-SearchTutorial.pdf

****

OpsJAWS メインページはこちら

クラウド運用にご興味ある方は、こちらからOpsJAWSに登録ください。

 

コメント

Featured Event

2017年9 月

          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30