今週はSAP COIL週間と称し、1/30に実施された「SAP on AWS 先端検証成果発表セミナー」の発表内容をブロご紹介させて頂きます。初日はTIS株式会社 西川様より SAP BO on Redshit についてご紹介頂きます。

皆様、こんにちは。TIS株式会社 エンタープライズソリューション推進部の西川と申します。この度、SAP BI製品であるBusinessObjects(以下、BO)からクラウド系ビッグデータDWHの雄:Amazon Redshiftに接続が可能か、そしてその性能が十分発揮されるものかの評価を行うべく、いくつかの接続検証を行いましたので、その結果報告をさせていただきたいと思います。
TISは、1996年よりBOの取り扱いを開始し、15年以上のご支援実績/経験を強みの一つとしております。これまでの経緯の中で、旧BO社及びSAP社と連携・情報交換を実施し、BO製品のビジネスパートナーとしての立場を確立してまいりました。 そして今回、DWH活用分野をクラウドへ飛躍的に拡大するために最適なプラットフォーム:Amazon Redshiftとの接続評価の機会をいただくことになりました。
SAP BIフロントは様々なビジネスシーンに適用できるソリューションが取り揃えられておりますが、Redshiftとの接続検証対象としては、この中からまずフロント系として、
-Desktop系ビジュアル分析ツールであるLumira
-従来のEnterprise系レポートのWeb Intelligence(以下、WebI)
を選定いたしました。
また、ソースシステムとの連携処理を想定して、
-ETLツール:DataServices
も合わせて評価することといたしました。
(参考:ビジネスシーンに応じて使い分けられるSAP BIフロント)

検証のシナリオ:
前述のとおり、実施シナリオは下記のとおりとなります。
(1) Redshift – Lumira 接続
(2) Redshift – BO(WebI)接続
(3) Redshift – DataServices接続
※(2)の BO(WebI)接続については、ユニバースでRedshiftと接続しますので、接続性評価についてはユニバースを使用する他のBIツールにも適用できます。
システム構成図:

Redshift上のテーブル構成:
トランザクションについては1億件強のテストデータを準備し、
トランザクションと複数マスターをJOIN+集計するSQLをクエリーとして計測しました。

評価ポイント:
今回は、下記の2つの観点で接続性を評価しました。
(1) 接続可否:BO製品からRedshiftの接続自体に問題や制約がないかどうか
(2) パフォーマンス:BI製品でのクエリ実行レスポンスが、純粋なSQLレスポンスと遜色がないか
検証結果:
(1) 接続可否 :特に問題なし。 (接続認定版のリリースを待ってください)
検証時点では、BOとRedshiftの接続は正式な認定がされていなかったこともあり、一部のパラメータの手動修正が必要となりましたが、そこさえクリアしておけば他のデータソース同様に接続が可能です。なお、Lumiraからの接続には Postgres JDBC Driver を使用します。BOとの接続は Postgres のJDBC/ODBC 双方に対応しています。一方、DataServicesは、Postgres ODBC Driverのみの接続に対応しています。
(2) パフォーマンス :特に問題なし。(DataServicesでは考慮要)
まず、純粋なSQLパフォーマンスの計測には、SQL Workbenchを使用し、その計測値と各BIツールによるクエリ実行時間を比較しました。
なお、Lumiraに関しては、Redshiftでのユーザ向けデータ提供方法がいくつか想定できるため、
(a) Lumira側でJOIN+集計のSQL文を直接記述する方法
(b) Redshift側でJOIN+集計VIEWを用意する方法
(c) LumiraのGUIを使ってTableをJOINする方法
それぞれで計測をしました。
BO(WebI)に関しては、ユニバースでテーブルの関係を定義し、WebIで項目を選択してクエリーを定義・発行しています。
何種類かのクエリーを用意して上記のパターンごとの計測をした結果、いずれも、純粋なSQL実行時間とほぼ同値のパフォーマンスであることが確認できました。 これは、BO – Redshift間のクエリーについてボトルネックやオーバーヘッドは認められず、Redshiftのパフォーマンスをそのまま享受できているとことを示しています。
(なお、LumiraでRedshiftへの接続を行う場合には、クエリ発行前に準備処理時間が発生しますが、これは他のJDBCデータソース接続の場合でも同様であり、今回のパフォーマンスの評価対象とはしていません。)
このことから、弊社としてはRedshift向けのBIツールとして、LumiraやBO(WebI 等)も有望な選択肢として加えることができると評価しています。 特に従来のBOの操作や運用に慣れているユーザ様、ライセンスをお持ちのユーザ様にとっては嬉しい選択肢になるはずです。(最新のBOEdgeシリーズのライセンスをお持ちなら Lumiraも使用できます)
(Lumiraによるレポート作成例)

ただし、DataServicesのジョブを作成する際には注意が必要です。DataServicesでデータフローのターゲット側にRedshiftを指定してデータ投入を行う場合、レコード単位のInsert処理が実行されますが、Redshiftに対して大量データをSQLのInsertで1件1件投入することはパフォーマンス上好ましくありません。これはRedshiftの得意分野がトランザクション処理ではなく分析・集計に特化しているためと思われます。事実、一般的なRDBデータソースへの投入処理と比べて数十倍もの時間を要する結果となりました。したがって、Redshiftへのデータ投入ステップについては、Redshift向けLOADの王道である”COPY”コマンドによる実行がベストです。(COPYコマンドによるLOADであれば一般的なRDBデータソースへの投入所要時間と特に遜色はありませんでした。)すなわち、DataServicesのジョブのターゲット側の処理とは、データ変換後にテキストデータとして出力し、それをLoad用のバッチやシェルに引き渡す、といった形態となります。このあたりはシステム要件や環境に合わせ、ETLツールの利用方針も含めた方式設計を実施することをお奨めします。
結論と今後のソリューションについて:
Amazonの強力なDWHに、充実したSAP BI製品群からアクセスができるということは、非常に素晴らしいステップアップであり、BIソリューションの幅をぐっと広げてくれることになります。弊社はこれまで様々なデータソースをベースにSAP BIソリューションのご提案・構築をしてまいりましたが、その選択肢としてRedshiftを選択肢として加えられるということは、クラウド環境での巨大データソースをも含めたより幅広いご要望にお応えできることにもなり、非常に喜ばしいことです。
Redshiftについては、PostgreSQLがベースとなっていることからSQLに慣れた技術者のハードルも低く、オンプレからクラウドへの移行先としても比較的選択しやすい環境と言えます。そして、Lumiraについては、特にサーバー環境を必要とせず、デスクトップへのインストールだけで素早くRedshiftデータソースに対して自由でビジュアルな分析作業を開始することができます。これまで既に、Tableau, QlikView, Microstrategy などがアドホック/セルフサービスBI用のフロントとして多くの支持を集めていますが、同様にLumiraも検討の対象としてはいかがでしょうか?非常に軽いフットワークで時代の潮流にキャッチアップしていけるBI環境を手に入れることができると思います。特にBOライセンス(最新のBOEdgeシリーズのライセンス )を既にお持ちのユーザ様にとっては追加費用も無く、すぐ利用開始できる製品になりますので非常に魅力的です。
弊社として感じたことは、今後急速に進むであろうクラウド+ビッグデータ時代に最適な、そして、戦略的なシステム構築に寄与するための1つの足元がためができた、ということです。 従来のオンプレミス環境は予め見積もられた箱の中でデータを放し飼いしてきました。 クラウドでは基本的に従量課金となることからも無駄なデータへの目がより厳しくなるとともに、一方では既定の箱に入らなかった重要なデータにも目が行くことになります。つまり、クラウド移行は単なる垂直移動ではなく、既存データの取捨選択とともに、これまでは流しに捨ててきたストリーミング系データの取り込み等による新たなビジネスと戦略のチャンスも意味します。これはクラウドならではの世界です。
単にテクノロジー追随や引っ越し作業をするだけではなく、一段上のビジネスのステージへお客様を導くことが弊社の役割だと思っています。そして今回の検証事例により、そのための1つの重要な基盤の確立ができたと認識しています。
利用するAWSサービス:
(1) Redshift
(2) EC2 (WebI向けにBO Server を構築する場合、DataServicesでETL環境を構築する場合)
(3) S3 (Redshiftへのロード用データをクラウド上で格納する場合)
(4) RDS (今回の検証ではソースシステムの一例として利用)
導入実績:
弊社のSAP BI系ソリューションの導入実績は下記をご参照ください。
http://www.tis.jp/service_solution/bo/
お問い合わせ先:
TIS株式会社 ビジネスシステムコンサルティング事業部
ビジネスコンサルティング営業部
TEL:03-5337-4363 FAX:03-5337-6239
Mail:[email protected]
-------------------------------------------------
エコシステム ソリューション部
パートナー ソリューションアーキテクト