CData Connect Cloud を経由してPower BI Service でAzure Data Lake Storage データをリアルタイムでビジュアライズ

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Power BI を使えば、データを美しいビジュアルに可視化したり、重要な情報を整理してダッシュボード化できます。CData Connect Cloud と組み合わせると、ビジュアライゼーションやダッシュボードでの使用のためにAzure Data Lake Storage データにアクセスできます。この記事では、CData Connect を使用してAzure Data Lake Storage のリアルタイム接続を作成し、Azure Data Lake Storage データをPower BI に接続してAzure Data Lake Storage データに関するレポートをPower BI で作成する方法を説明します。

CData Connect Cloud とは？

CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。

• SaaS やクラウドデータベースを中心とする150種類以上のデータソース
• BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
• リアルタイムのデータ接続に対応。データの複製を作る必要はありません
• ノーコードでシンプルな設定

詳しくは、こちらの製品資料をご確認ください。

Connect Cloud からAzure Data Lake Storage に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Azure Data Lake Storage」を選択します。
3. 必要な認証プロパティを入力し、Azure Data Lake Storage に接続します。

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

4. Create & Test をクリックします。
5. Edit Azure Data Lake Storage Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

接続が構成されたら、Power BI からAzure Data Lake Storage に接続できるようになります。

Connect Cloud Power BI コネクタをインストールする

バージョン: 2.112.603.0 (2022年12月)以降のバージョンのPower BI Desktop では、すでにCData Connect Cloud 用のMicrosoft 認定コネクタがPower BI Desktop に含まれています。Power BI Desktop で最初のデータセット設定が必要です。従来まではPower BI Desktop からデータソースの更新毎にデータセットを手動でパブリッシュもしくはオンプレミスGateway での定期リフレッシュが必要でした。今回のPower BI 提供のCData Connect 向けコネクタでは、一度Power BI Desktop からデータセットをパブリッシュした後のデータ更新はPower BI サービス（クラウド）上で実施できる点がポイントです！　では、「データを取得」から「オンラインサービス」カテゴリを選び、「CData Connect Cloud」を選択します。

それより前のPower BI Desktop をご利用の場合には、CData Connect Cloud Power BI コネクタ をダウンロードしインストールします。インストールが完了すると、CData Connect Cloud を経由してPower BI のデータに接続できるようになります。

Azure Data Lake Storage テーブルをクエリ

以下のステップに従って、Azure Data Lake Storage データをレポートにプルするクエリを作成します。

「Power BI Desktop」を開いて「Get Data」->「Online Services」->「CData Connect Cloud」と進み、「Connect」をクリックします。 「Sign-in」をクリックしCData Connect Cloud のアカウントで認証します。
1. サインイン後「Connect」をクリックします。
2. 「Navigator」ダイアログでテーブルを選択します。
3. 「Load」をクリックしPower BI からAzure Data Lake Storage データの接続を確立します。

Azure Data Lake Storage データをビジュアライゼーションを作成する

Power BI にデータを接続した後、「Fields」ペインのフィールドをキャンバスにドラッグすることで、「Report」ビューでデータビジュアライゼーションを作成できます。チャートタイプと、ビジュアライズするディメンションとメジャーを選択します。

Power BI サービス（クラウド）から最新のAzure Data Lake Storage データに更新

ここからが2022年12月以降の認定コネクタの最大のキモになります。発行したPower BI サービスで使用できるAzure Data Lake Storage データを使ったレポートのデータをPower BI 側から最新のデータに更新が可能です。まずは右上のメニュー から「データセットの表示」をクリックします。

まずは、データソースであるCData Connect Cloud にアクセスする資格を設定する必要がありますので、「ファイル」→「設定」をクリックします。レポートで使用しているデータセットをワークスペースから選択し、「データソースの資格情報」を開き、「資格情報を編集」の文字をクリックします。

クリックすると再度CData Connect Cloud へのサインインを求められます。

1. 認証方法：OAuth2 を選択
2. このデータソースのプライバシーレベルの設定：適切なレベルを設定

「サインイン」ボタンをクリックして、CData Connect Cloud のユーザー名とパスワードでサインインします。

これで、Power BI サービスからConnect Cloud 経由でAzure Data Lake Storage データソースを最新の状態に更新することができます。「更新」→「今すぐ更新」をクリックするとデータを更新できます。このように簡単にPower BI サービス（クラウド）側から外部データソースであるAzure Data Lake Storage のデータをリアルタイムで更新して分析利用することができました。

データアプリケーションからAzure Data Lake Storage データへのリアルタイムアクセス

CData Connect Cloud を使用してPower BI からAzure Data Lake Storage データへの直接接続ができるようになりました。これで、Azure Data Lake Storage を複製せずにより多くのデータをインポート、新しいビジュアライゼーションやレポートを作成することができます。

オンプレミスのBI やレポート、ETL、その他のデータアプリケーションから、250を超えるSaaS、ビッグデータ、NoSQL ソース（Azure Data Lake Storage を含む）への直接のSQL データアクセスを取得するには、CData Connect ページにアクセスして無償トライアルを開始できます。