2011年7月19日火曜日

新しいSAP BW本、BusinessObjects BI4.0本を予約注文

買う予定であった下記の本を本日予約注文しました。
両方とも発売日が年末なので、まだまだですが、忘れずに予約しました。

SAP NetWeaver BW and SAP BusinessObjects
SAP BusinessObjects BI 4.0 The Complete Reference 3/E

SAP BusinessObjects Web Intelligence 値のリスト選択について

SAP BusinessObjectsのWeb Intelligenceにおいて、クエリの設定画面で
条件をしてすることができます。条件指定の際、フィルタリングをかける条件を定数や値のリスト一覧から指定できる機能があります。

Web Intelligenceをしばらく触っていなかったので、復習のためいろいろといじってみました。
その際、条件指定において、リスト一覧がグレイアウトされており、一覧から指定することができませんでした。

以下になぜ、値を一覧から指定できなかったのか記載しておきます。

理由はとても簡単で実は、データアクセスを設定するUniverse側で値の一覧を出すかどうか指定されているのです。
一覧から値が指定できなかったのは、Universe側で単に禁止していたからのでした。
禁止を解除するには、Universe側でオブジェクトを右クリックし、値が指定できるようにチェックしておく必要があります。

SAP BusinessObjectsのETLツール Data Integrator

どうやら現在かかわっているプロジェクトでETLツールとして、SAP BusinessObjectsのData Integratorを利用するようです。

ということで、早速情報収集。

まずは概要資料。
http://www.datamotive.be/sites/default/files/files/BusinessObjects-Data-Integrator.pdf


あとDesigner Guide
http://help.sap.com/businessobject/product_guides/boexir4/en/sbo401_ds_designer_en.pdf
Tutorial
http://help.sap.com/businessobject/product_guides/boexir4/en/sbo401_ds_tutorial_en.pdf


Data Integratorのトレーニングは受講する予定ですが、こちらでちょっと勉強しておきたいと思います。

EMCのGreenPlum

Hadoopを製品に利用しているEMCのGreenPlumに関する記事です。
チェックを。
EMCに訊く、「企業がHadoopを使うためにすべきこと」

オンラインでのデータ分析

TEchCrunchの記事で、下記の記事を見つけました。

Wondergraphs:データ分析およびレポート作成作業を楽しくかつセクシーにしてくれるオンラインサービス

オンライン上でグラフなどが作成できるらしいです。

MySQLを完全オンメモリ化したMemSQLが資金を調達

MySQLを完全オンメモリ化したMemSQLが資金を調達したらしいです。
通常のMySQLと比べると30倍のスピードになるらしい。

メモリが安くなったこともあって、現在はメモリで運用し、HDDでバックアップを取る企業が多いですよね。

注目したい企業ですね。
MySQLを完全オンメモリ化(スピード30倍)したMemSQLが$2.1Mのシード資金を調達

2011年7月14日木曜日

プレゼンテーション!

その昔、システムエンジニアなどの技術職は1日中机に座ってプログラムを開発しているイメージがありました。しかし、実際は大きく違ってユーザや顧客などとのコミュニケーションに多くの時間を費やす必要があります。

最近では技術者もプレゼンテーション技術が問われます。私もなんどかプレゼンする機会があります。でもなかなか上達するのは難しいんですよね?

そんななか@ITを眺めていたら、下記のプレゼンテーションのコラムを見つけました。
なるほど、なるほどという内容が満載です。

ぜひ参考。私もこの内容を実践してプレゼンの腕を磨きたいと思います。

http://www.atmarkit.co.jp/fjava/column/andoh/andoh57.html

SAP BWでSlowly Changing Dimensionはどうやって実現するのか?

BI/Data warehouseの構築に欠かせないスタースキーマと呼ばれるディメンショナルモデリング。そのディメンショナルモデリングに必須のテクニックがSlowly Changing Dimensionです。Slowly Changing Dimensionとは、ディメンションの履歴の取り方のテクニックのことです。
詳細は下記をご覧ください。
Slowly Changing Dimension

このSlowly Changing Dimensionはリレーショナルデータベースを利用する際jに使用するテクニックです。リレーショナルデータベース内でスタースキーマを作成し、ETLツールを利用してSlowly Changing Dimensionの各タイプについて管理します。

では、このSlowly Changing Dimensionですが、SAP BWではどうやって実現するのでしょうか。SAP BWはデータウェアハウスに必要なアプリケーションがすべて1つになったパッケージ製品です。データベースはアプリケーションで隠されているので、SAP BWのシステムインタフェースを使用してデータベースなどを定義していく方法をとります。
そのため、通常のSlowly Changing Dimensionのテクニックが使えないのです!

では、SAP BWではそもそもSlowly Changing Dimensionに似た運用ができるのでしょうか。それともできないのでしょうか。。。。。

テレビであれば、続くとなるか、コマーシャルとなる部分ですが、以下私が現在調べた限りの内容を記載します。


結論からいうと、Slowly Changing Dimensionと全く同じではありませんが、結果的に同じような管理がSAP BW内でできます。

SAP BWでは、各データの属性単位で設定を定義していくのですが、その際にTIme dependent または Time independentデータにするかどうかを指定することができます。厳密には、Time dependentにする場合はチェックを入れるかたちとなります。Time dependentとは、つまりデータが更新されるたびにFrom data, To dateで履歴をとるということです。そのため、Time dependentにチェックを入れておけば、SAP BWが自動的に履歴をとってくれるのです。

SAP BWでは、InfoCubeと呼ばれるキューブがあるのですが、そのキューブはExtended star schemaと呼ばれる構造をとります。通常のスタースキーマはパフォーマンスのためにある程度非構造化してデータを作成するのですが、このExtended Star schemaはディメンション部分を正規化しており、柔軟な構造になっています。

そのため、Time dependentにチェックをいれば、スタースキーマでもfrom, toで履歴を持った状態でデータを保持するのです。そういった構造であるため、レポートを作成する時に発行するクエリにどの履歴をしようするかをkey dateという名前で指定することができます。このkey dateを上手に利用することによりslowly changing dimensionと同じテクニックを実現することができるのです。

でも、ここで問題が発生です。通常のディメンショナルモデルは、パフォーマンスを向上させるためにシンプルなスタースキーマになっています。しかし、SAP BWのInfoCubeでは構造化しているため多くのジョインが発生し、パフォーマンスが大幅に劣化します。それにより、どうやらSAP BWはパフォーマンスに特に注意する必要がありそうです。

パフォーマンスの向上方法としては、現在は、BWAやHANAなどのインメモリデータベースを利用することができますので、これを利用することにより大幅にレポートパフォーマンス改善することができます。ただし、高いです。

あとは、インデックスやパーティションなどでパフォーマンスを改善できますがこれには限界がありますね。そのためデザイン時にパフォーマンスに注意して設計する必要があるそうです。

2011年7月13日水曜日

SAP Business Explorer

技術メモです。

SAP BWにアクセスツールにBusiness Explorer 通常Bexと呼ばれるツールがあります。
SAP BWのInfoCubeなどのInfoProviderにアクセスするにはこのツールが必要となるようです。

下記に詳細情報があります。
http://help.sap.com/saphelp_nw73/helpdata/en/5b/30d43b0527a17be10000000a114084/frameset.htm

Bexには下記のツールがあります。
BEx Query Designer
BEx Web Application Designer
BEx Broadcaster
BEx Analyzer

SAP BW modelプレゼンテーション

SAP BWのデータモデリングに関するすばらしい資料を見つけました。
SAP BWのデータモデルについてわかりやすくまとまっています。
英語の資料となります。
日本語の資料がなかなかないですね。

http://www.slidefinder.net/s/sap_data_modeling_techniques_data/9442191

Hadoop 第2版日本語版いよいよ発売

Haddopの第2版の日本語版がよいよい7月23日に発売になります。
まだ、買おうがどうか迷っています。
http://www.oreilly.co.jp/books/9784873115030/

SAP NetWeaver BW: Administration and Monitoringを読む

SAP BWの管理本「SAP NetWeaver BW: Administration and Monitoring」を
読みました。と言っても今までSAP BWを管理したことがありませんし、まだ触ったこともないので読んでみてもふーんといった感じでした。
そのため、今回は全体像を把握することを目的にSAP BWの管理項目としてどんなことができるかといったことがなんとなくわかるように
ところどころ飛ばして読みました。

さらっと読んだだけですが、SAP BWのパフォーマンスやインデックスなどにも触れらていて非常によい本だと思います。

SAP BWの勉強がもっと進んだら再び本書に戻りたいと思います。

次は、SAP BWのレポート関連の書籍を読む予定です。一応、下記の本を予定しています。すでに本は購入済みです。

Inside SAP BusinessObjects Advanced Analysis
SAP NetWeaver BW 7.x Reporting ? Practical Guide

データベースのインデックスについて

SAP BWの管理本を読んでいたら、データベースのインデックスに関する話が出てきました。
データベースについてはしばらくご無沙汰していたので、ウェブサイトでちょっとインデックスについて復習してみました。

やっぱりWikipediaのサイトがわかりやすかったです。
索引 (データベース)


また、どのインデックスを使用するかで考えなければいけないのがカーディナリティですね。
カーディナリティの説明は下記のサイトがおすすめです。

カーディナリティとは

2011年7月12日火曜日

SAP BusinessObjects Universeって何だ?

SAP BusinessObjectsのWeb Intelligenceを使用するときにUniverseの選択があります。
では、Universeってなんでしょうか。これは、BusinessObjectsが盛んに宣伝していたセマンティックレイヤーと
いうもので簡単に言ってしまえば、Web Intelligenceなどでアクセステーブルやテーブルのリンクを定義する階層です。

Universeを定義するには、Universe Designerというツールを別途使用する必要があります。

続SAP BusinessObjects Web Intelligence本

アマゾンで、Web Intelligence本を探していたら、以下のトレーニング本を見つけました。

SAP BusinessObjects Web Intelligence XI 3.1 Training Course
SAP BusinessObjects Web Intelligence XI 3.1 Exercises and Answers
http://www.webiworx.com/index.html

中身が見れなかったので、詳細は分かりませんが、サイトを読む限り、Web Intelligenceの必要機能について分かりやすく説明して
あるようです。また、練習と回答本を購入すれば、かなり独習ができそうです。
購入を考えましたが、すでにWeb Intelligence本を購入しているのと、バージョンがXI3.1なので、購入は見送ることに
しました。
Web Intelligence本を購入している人はこちらも候補の1つに入れることをお勧めします。

SAP BusinessObjects Web Intelligenceとは?

今回は、SAP BusinessObjects Web Intelligeceについて説明します。

SAP BusinessObjects Web Intelligeceとは?

Web Intelligenceとは、SQLなどのテクニカルスキルなしに定型レポート、アドホックレポート、データ取得ができる
Webベースのツールです。

Web Intelligenceには、2つの段階があります。
まず、接続したテーブル群を選びます。接続するテーブル群は、予めUniverse Designerというツールで
定義して必要があります。接続したいテーブル群(Universeと呼ばれます)を選んだあと、ドロップアンドドロップで取得したいデータを定義します。
ドロップアンドドラッグで選んだ内容に応じて、SQLを自動生成します。また、自分でSQLを編集、定義することもできます。

その次は、定義したクエリーを実行し、それを一覧やグラフなどで定義するフェーズです。単純なリストから棒グラフなど様々なテンプレートが容易されていますので
これもドラッグアンドドロップで簡単に作成することができます。また、フォーマットを変えたり、計算を追加したりといったこともできます。

まとめると、
フェーズ1:クエリーを定義する
フェーズ2:見た目を定義する

となります。

さらにすごいのが、同一のテーブル群(Universe)に別々のクエリを定義して、1つのレポートに表示することができます。
また、全く違ったテーブル群も1つのレポートに表示することもできます。さらに、違ったテーブル群をさらに結合して1つのテーブル群として
レポートに表現することもできます。

すぐれたツールのようですが、1つ問題点があります。それはパフォーマンスです。データ量が少なかったり、シンプルなテーブル構造であれば問題ないのですが、
データ量が多かったり、テーブル結合が多いとパフォーマンスが悪化します。
この辺は、サマリーテーブルやシンプルなテーブル構造にするなどの対応が必要になります。

ネティーザやテラデータなどの専用DWHを使えば、レスポンスが早くなるので、こういったアプライアンスを使用するのもおすすめです。

楽天証券はExadataを選択

楽天証券が自身のシステムにExadataを採用したとのことです。とってもデータウェアハウスでの利用ではなく、OLTPでの利用です。消費電力だけで年間約5000万円節約できるとのことです。すごいですね。

ぜひチェックを。

http://enterprisezine.jp/article/detail/3307

やっぱりBIが熱い?

DB onlineというサイトにDBプロに会いたい!というコーナーがあり、DBプロフェッショナルのインタビューを掲載しています。その連載の中のインサイトテクノロジー 代表取締役社長の小幡一郎氏のインタビューで、今後はDWH分野で面白い展開ができるという記載がありました。

やっぱりBI/DWHは今後ますます熱くなりますね。オープンソースBI Pentahoにも言及がありました。

ぜひチェックを。

http://enterprisezine.jp/article/detail/3291

ウルシステムズ漆原氏のインタビュー

ウルシステムズ株式会社と株式会社イーシー・ワンが経営統合を発表しました。
それに関して、ウルシステムズの漆原氏のインタビューが下記に掲載されています。

http://enterprisezine.jp/article/detail/3289

インタビューにおける日本のSIerの体質については私も同感です。

日本のSIerが今後かわることを期待します。

ぜひ、チェックしてみてください。

2011年7月11日月曜日

SAP BWトレーニング

今まで独学でSAP BWの勉強を進めていましたがSAP BWのトレーニング許可が下りましたので8月よりじょじょに受講する予定です。既にある程度書籍によって独学しているので、不明な点を確認していきたいと思います。

でもやっぱりSAP BWのトレーニングは高いですね。

SAP BWトレーニング

SAP NetWeaver BW: Administration and Monitoring

BusinessObjectsのWeb Intelligence本を読み終わったので、次はSAP BW本である「SAP NetWeaver BW:Administration and Monitoring」を読んで見たいと思います。既に購入済みですので、早速明日から通勤電車の中で読み進めたいと思います。

おそらく、通勤電車の中でSAP PRESSの分厚い本を読んでいるは私だけですよね。(笑)
でもこれが結構はかどるんですよ。まあ、結構運ぶのは重いですが。。。
本の表紙がかっこいいので、ちょっと知的に見えるかもしれません。

SAP NetWeaver BW: Administration and Monitoring

SAP BusinessObjects Web intelligence本を読了

勉強するにもマイブームがあります。現在は、プロジェクトでフロントエンドツールについて調べているのでBusinessObjects関連のツールを勉強するのがマイブームです。

ということで、早速現在購入し、読むのが止まっていた「SAP BusinessObjects Web Intelligence」を読みました。Web Intelligenceの一通りの機能が網羅されており、SDKなどのマニアックな情報も載っていました。これ一冊あればWeb Intelligenceについてひとおり勉強できるのではないでしょうか。BusinessObjectsは勉強したけど、もう一度勉強したい人、またBusinessObjectsは使っているけど、トレーニングは高いので書籍で勉強したい人などにおすすめです。

問題は英語でしか読めないというところでしょうか。ちなみに取り扱っているバージョンはXI3.xです。

英語が読める人にはおすすめのWeb Intelligence本です。

SAP BusinessObjects Web Intelligence

BIレポートと業務レポートは分けて考えましょう!

BI/Data warehouseの要件定義段階でほしいレポートや分析について議論すると
思いますが、そこで1つ注意したいのが、BIレポートと業務レポートを分けて考える必要があるということです。

ユーザはとにかく、ほしいレポートを要求してきますので、それがBIレポートなのか、業務レポートに該当するのか
その都度考えましょう。

では、そもそもBIレポート、業務レポートの違いってなんですか。
簡単にいってしまえば、業務レポートは業務を運用する上で必要になるレポートです。
たとえば、注文の明細だったり、まだ支払いをしていない顧客の一覧などです。

BIレポートは、データを分析してその後のアクションにつなげるレポートです。
たとえば、売上レポートなんかがそうですね。

では、なぜわけて考える必要があるのでしょうか。

それは、BIレポート、業務レポートの違いによって、基本的にレポートを出すソースシステムおよびデータモデルが
異なってくるからです。

BIレポートであれば、データウェアハウスのスタースキーマから出す必要があります。
また、業務レポートであれば、業務システムから出力するか、またはデータウェアハウスであれば、
エンタープライズデータウェアハウスなどから出力したほうが良いでしょう。
また、その時のデータモデルは、通常のデータモデルつまり正規化されたデータモデルになります。

このように、レポートの種類によって、レポートを出力する場所がわかってきますので、注意しましょう。

もちろん、例外ありますので注意を。。。

ユーザとのコミュニケーションにスタースキーマを利用しよう

BI/Data warehouseのプロジェクトで困るのが、ユーザとシステムの仕様について
どのようにコミュニケーションするかです。

ユーザには少なくともシステム要件についてレビューしてもらう必要がありますし、UATもあります。
でも、テクニカルスキルがないユーザにとってITが話す言葉はちんぷんかんぶんですよね。

そこでお勧めしたいのが、スタースキーマによるユーザとのコミュニケーションです。
確かにデータについて全くわからないユーザにスタースキーマを教えるのは大変だとは思いますが、
業務システムのデータモデルなんかに比べれば、数段理解しやすいのではないでしょうか。

また、スタースキーマでレポートなんかも作成も考えると頭が整理されて便利です。

ぜひ、スタースキーマを使いましょう。

SAP BW/BusinessObjects関連の注目ブログ

SAP BW/BusinessObjectsに関連する役立つブログを発見したのでご紹介。

http://www.hackingsap.com/blog/

書籍情報なんかも掲載されていて、非常に便利です。

ぜひ、チェックを。

SAP BW/BusinessObjects関連購入予定の書籍

現在かかわっているBI/Data warehouseのプロジェクトでバックエンドにSAP BW,フロントエンドのレポーティングツールとして
BusinessObjectsを利用する予定です。

すでに掲載してあるとおり、ある程度の関連書籍は購入しているのですが、実際使用するBusiness Objectsが、最新バージョンのBI 4.0であるため
下記の書籍を追加購入する予定です。
まだ、出版されていない書籍もあるので、とりあえずアマゾンで注文しておきたいと思います。

SAP BusinessObjects BI 4.0 The Complete Reference 3/E
SAP NetWeaver BW and SAP BusinessObjects
SAP BusinessObjects Dashboards 4.0 Cookbook

2011年7月9日土曜日

BI/Data warehouseの要件定義について

 今回はBI/Data warehouseの要件定義について考えてみたいと思います。現在、仕事でBI/Data warehouseの新しいプロジェクトに携わっています。利用する製品などの選定が終わり、いよいよユーザ要件の定義に入るところです。

 要件定義は誰がやる?

 では要件定義は一体誰がやるがいいのでしょうか。コンサルタントでしょうか。それとも情報システム部?ユーザでしょうか。誰がやるという議論の前に要件定義のフェーズを2つに分けてみたいと思います。それは、まさにユーザによる要件定義とそれをシステムに置き換えたシステム要件の2つです。
 私のおすすめの役割分断は、

ユーザの要件定義→ユーザが主導でまとめる

システム要件→情報システムまたはITコンサルタントが主導でシステムで実現できるように要件に変換

システム要件の承認→ユーザ主導でシステム要件について現場にコミュニケーション、承認を得る

ユーザ要件定義に非常な情報は?
 では、ユーザ要件をまとめる上で必要な情報とはなんでしょうか。最低限下記の情報が必要だと思います。

・分析対象名またはレポート名
・分析、レポートの目的
 利用する部署が複数の場合は、部門ごとに目的を記載
・分析に必要なデータ期間 例:3年分
・分析に必要なファクト(数値)項目
 トランザクション、スナップショットのどちらかの記載
 計算ロジックの記載
・分析に必要なディメンション項目
 履歴の分析方法(Slowly Changing Dimension)
 階層
・レポートレイアウト

ユーザのスキルをアップさせる!

 上の要件定義の項目を見ていただければわかりますが、要件をまとめる上で、ファクト、ディメンションなどについて理解している必要があります。また、ディメンションの階層やSlowly Changing Dimensionの概念については理解している必要があります。この辺のスキルがあるユーザであればいいのですが、たいていはこの辺を意識せずに仕事をしていることが多いので、情報システム部門またはITコンサルタントがユーザに非常なスキルを教育する必要があります。適当な外部研修などはありませんので、社内で資料を作ってトレーニングをやる必要があります。

 現在私のプロジェクトでも要件定義に入るまでの準備を進めています。まずは、各フェーズで必要な成果物(ドキュメント)を定義しました。その後、その成果物を誰が中心でまとめるか、つまり役割と責任についてまとめ、ユーザチームに説明を行います。ユーザチームと「役割と責任範囲」について合意がとれた後で、ユーザに対するトレーニングを行います。今回のプロジェクトではBIスキルがないユーザがほとんどですので、現在トレーニング資料について考慮中です。分析スキルをわかりやすく説明するのは結構たいへんですね。しかし、ここをしっかりやって行いと要件定義がぐちゃぐちゃになってしますので、しっかりやりたいと思います。