MySQLのデータをGoogle BigQueryに連携する際の課題・現状
データベースにMySQLが使われている調達システムを利用している。どの商品をどの取引先から購入したらディスカウント率が高いか、どの商品が売れているか、などの分析や、発注から納品までのリードタイムを分析し、今後の調達先や調達商品の見定めをおこないたい。しかし、各取引先ごとに、日付データ型が異なっていたり、カテゴリが入力されていない商品、半角全角表記がバラバラの商品など、データ分析をするには、データクレンジングをおこなう必要がある状態。データが膨大かつ、今後、既存営業部門メインで分析業務を進めてもらいたいため、わかりやすいデータ加工・連携ツール、データウェアハウスを探している。
Reckoner（レコナー）導入の効果
商品コードの1文字目で判定し自動で任意のカテゴリ名をつけることができたため、データ分析の下準備が整った。
簡単なマウス操作で、BIツールで表示させるカラム名やデータ型の変換がおこなえるため、社内エンジニアや情報システム部、知見があるメンバーに依存することなく、スピーディーにデータ加工ができた。
MySQLのデータをGoogle BigQueryに簡単に自動連携する方法
STEP1
接続設定
Reckoner（レコナー）が、データソースとなるMySQL、データ転送先となるGoogle BigQueryにアクセスできるようにするため、ログイン情報入力やOauth設定をおこなう。
STEP2
データ加工・変換
SQLを記述することなく、Reckoner（レコナー）画面上のマウス操作で、以下加工・整形をおこなう。
・任意のデータに対して決められたアルゴリズムを適用し、不可逆のデータを作成する「ハッシュ化」タスクを用いて、取引先名をハッシュ化する。
・文字列型（string型）の日付項目をdate型に変換する「日付パース」タスクを用いて、発注日、希望納期、納品日をすべてdate型に変換する。
・フィルタリング条件に一致したレコードを抽出する「フィルター」タスクを用いて、任意のコードから始まる取引先データや商品データを抽出する。
・全角と半角を、カナ・英字・数字・記号・スペース別に相互に変換できる「全角半角変換」タスクを用いて、半角表記の商品名を全角表記に統一する。
・西暦日付を和暦日付に変換できる「和暦西暦変換」タスクを用いて、日付データをすべて和暦表記に統一する。
・複数のテーブルのデータを縦方向（レコードを増やす方向）に統合する「統合」タスクを用いて、これまで加工したデータをすべて統合する。
・既存フィールドのフィールド名変更や型変更、新規フィールドの追加ができる「フィールド変換」タスクを用いて、コードごとに任意のカテゴリ名を付与する。
STEP3
ワークフロー作成・データ連携
検証環境を用意することなく、Reckoner（レコナー）の画面上で処理結果のプレビューをぱっと確認。バッチ制作不要で、MySQLとGoogle BigQueryを繋いでデータの流れを作成する。
Reckonerでの解決ポイント
簡単なマウス操作で、西暦日付を和暦日付に変換！
