運用保守を先回り
新しいETLのスタンダード
データ転送 (ETL) / マネージドデータ転送
ABOUT
パイプライン構築まで最短3分。
日々積み重なる保守業務からも解放。
ETLパイプラインの構築、データソースの変更への追従、APIアップデートへの対応…
データ活用するための環境を構築し、維持していくには、多大な工数を要します。
そういった泥臭いタスクはtrocco®におまかせください。
ETL/ELT/CDCをサポート。
ニーズに合わせて選べる転送方式。
ETLではノーコードからプログラミング言語による柔軟な変換処理までカバー。
ELTの場合はdbt連携による精緻なデータモデリングに対応します。
CDC（変更データキャプチャ）形式のデータロードにも対応。
データソース側の変更をフルマネージドに追従します。
世界でも稀有。
DevOpsも踏まえたETLサービス。
エンジニアリングのベストプラクティスを、データ分析基盤にも。
本格的な運用フェーズにも耐えうる多彩な機能が揃っています。
- コードベースの設定管理
- GitHubと連携したPull Requestレビュー
- 変更履歴の管理とロールバック
- 本番適用前のテスト実行
データソースのあらゆる変更を自動追従。
運用保守を限りなくゼロに。
ETLパイプラインを構築すると、データソース側の列追加・テーブル追加・APIアップデートなどの対応が日々発生します。
ETLに標準搭載されているスキーマ変更検知・追従機能では、列の追加・削除・変更の追従が可能。マネージドデータ転送ではテーブルレベルの追加・削除に対する変更を追従することが可能です。
データソースのAPIアップデートに対する追従も、trocco®内部で自動的に行われます。
ベーシックな
ETL
はノーコードで簡単に。
プログラミング言語による独自実装にも対応
よくあるETL処理はGUIで簡単に設定。
複雑な処理が必要な場合は、プログラミングETLで対応可能です。
ニーズやリテラシーに応じて、データ整備・平準化を負担なく行うことができます。
- マスキング
- レコードフィルタ
- ハッシュ化（SHA256）
- 文字列置換（正規表現）
- データ型変換
- 文字列変換（NFKC）
- プログラミングETL（Ruby / Python）
直感的かつ洗練されたUI/UX。
データエンジニアリングの最短経路を提供します。
設定・運用時の細かいイライラを最小限に。
エンジニアが自ら使いたくなるように考え抜かれたUIは、データエンジニアリング上の各種タスクに対して「最短経路」を提供します。
- 設定の下書き保存
- ラベル管理
- テスト実行
- 一括編集機能
- 接続確認
- 3ステップ完了する簡単設定
- 入力サジェスト
- コード差分確認
Technical Capabilities
-
BigQueryの分割テーブル・クラスタリングにネイティブ対応
BigQueryの分割テーブルや、クラスタリングテーブルの作成・更新に対応しています。
-
スキーマの自動推論
転送元がファイル形式の場合*、ファイル圧縮形式・フォーマット・スキーマ（データ型）を自動で推論。マッピングや型入力のコストを削減できます。
* Amazon S3、Google Spreadsheetsなど
-
JSON型展開
転送元のJSON型データを展開し、転送先のカラムにマッピング可能です。
-
広告レポートテンプレート
trocco®独自に提供するレポートテンプレートにより、広告系コネクタからのデータ抽出を効率化。 広告分析に最適なフィールドをサジェストします。
-
ジョブのテスト実行
作成した転送設定*で問題なくジョブが実行できるか、本番環境に適応する前にテスト実行で確認することができます。
* 転送先BigQueryの場合のみ
-
カスタム変数
ETLパイプラインの設定の各所にカスタム変数を埋め込み可能です。 手動再実行時などのバックフィル用途で利用できるほか、ループ実行などの柔軟な実行方法をサポートします。
他の機能を見る
-
データマート生成(ELT)
SQLエディタで変換処理を書くだけで、DWH上のログをビジネス活用しやすい状態に整備
-
ワークフロー (ジョブ管理)
複雑なパイプラインもGUIで定義。データエンジニアに必要な接続先が豊富
-
データカタログ
データ理解から使用までのボトルネックを解消し、課題解決までのリードタイムを短縮
-
データチェック
DWH上に蓄積されたデータに対し、柔軟なテスト・検証が可能
-
Git・API連携機能
Infrastructure as Codeをデータ分析基盤にも。外部ツールとのAPI連携も充実
-
運用支援 (DevOps)
通知や再実行など、データ分析基盤の運用に必要な支援機能を、エンジニア目線で開発
-
Web行動ログ収集SDK
専用のSDKでWebサイトのログ・イベントを収集し、お好きなDWHに転送
-
セキュリティ
大切なデータを扱うため、暗号化やIP制限などの機能を搭載
-
サポート
お客様専任の担当がつき、障害対応や運用をサポート