ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →CData
こんにちは!ドライバー周りのヘルプドキュメントを担当している古川です。
CData Cmdlets for GoogleCloudStorage を使えば、PowerShell からGoogle Cloud Storage データ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for GoogleCloudStorage およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。
まずは、PowerShell でGoogle Cloud Storage への接続を行います。レプリケーションは4つのステップがあります。
ユーザー資格情報の接続プロパティを設定することなく接続できます。InitiateOAuth をGETANDREFRESH に設定したら、接続の準備が完了です。
接続すると、Google Cloud Storage OAuth エンドポイントがデフォルトブラウザで開きます。ログインして権限を付与すると、OAuth プロセスが完了します。
サービスアカウントには、ブラウザでユーザー認証を行わないサイレント認証があります。サービスアカウントを使用して、企業全体のアクセススコープを委任することもできます。
このフローでは、OAuth アプリケーションを作成する必要があります。詳しくは、ヘルプドキュメントを参照してください。以下の接続プロパティを設定したら、接続の準備が完了です:
これで、サービスアカウントのOAuth フローが完了します。
モジュールのインストール:
Install-Module GoogleCloudStorageCmdlets
Google Cloud Storage への接続:
$googlecloudstorage = Connect-GoogleCloudStorage -ProjectId $ProjectId
取得ターゲットのリソースの取得:
$data = Select-GoogleCloudStorage -Connection $googlecloudstorage -Table "Buckets"
Invoke-GoogleCloudStorage cmdlet を使って、SQL-92 クエリを使用することもできます:
$data = Invoke-GoogleCloudStorage -Connection $googlecloudstorage -Query 'SELECT * FROM Buckets WHERE Name = @Name' -Params @{'@Name'='TestBucket'}
戻り値からカラム名のリストを保存します。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name
カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。
モジュールのインストール:
Install-Module MySQLCmdlets
MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:
$mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port
Google Cloud Storage、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Google Cloud Storage のリソース(Buckets)と同じテーブル名を持っている必要があります。
$data | % {
$row = $_
$values = @()
$columns | % {
$col = $_
$values += $row.$($col)
}
Add-MySQL -Connection $mysql -Table "Buckets" -Columns $columns -Values $values
}
一度PowerShell でGoogle Cloud Storage とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:
Select-GoogleCloudStorage -Connection $googlecloudstorage -Table "Buckets" | % {
$row = $_
$values = @()
$columns | % {
$col = $_
$values += $row.$($col)
}
Add-MySQL -Connection $mysql -Table "Buckets" -Columns $columns -Values $values
}
別のPowerShell モジュールで、Google Cloud Storage を別のデータベースに複製する場合、Select-GoogleCloudStorage cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}
これで、Google Cloud Storage データをMySQL に複製できました。分析、BI などでGoogle Cloud Storage データをMySQL から使うことができるようになります。