運用保守を先回り
新しいETLのスタンダード

データ転送 (ETL) / マネージドデータ転送

データ転送(ETL)/マネージドデータ転送画面例

ABOUT パイプライン構築まで最短5分。
日々積み重なる保守業務からも解放。

ETLパイプラインの構築、データソースの変更への追従、APIアップデートへの対応…
データ活用するための環境を構築し、維持していくには、多大な工数を要します。
そういった泥臭いタスクはTROCCO®におまかせください。

TROCCO®︎データ転送イメージ

ETL/ELT/CDCをサポート。
ニーズに合わせて選べる転送方式。

ETLではノーコードからプログラミング言語による柔軟な変換処理までカバー。 ELTの場合はdbt連携による精緻なデータモデリングに対応します。
CDC(変更データキャプチャ)形式のデータロードにも対応。
データソース側の変更をフルマネージドに追従します。

転送方式イメージ

世界でも稀有。
DevOpsも踏まえたETLサービス。

エンジニアリングのベストプラクティスを、データ基盤にも。
本格的な運用フェーズにも耐えうる多彩な機能が揃っています。

  • コードベースの設定管理
  • GitHubと連携したPull Requestレビュー
  • 変更履歴の管理とロールバック
  • 本番適用前のテスト実行
DevOpsイメージ

データソースのあらゆる変更を自動追従。
運用保守を限りなくゼロに。

ETLパイプラインを構築すると、データソース側の列追加・テーブル追加・APIアップデートなどの対応が日々発生します。
ETLに標準搭載されているスキーマ変更検知・追従機能では、列の追加・削除・変更の追従が可能。マネージドデータ転送ではテーブルレベルの追加・削除に対する変更を追従することが可能です。 データソースのAPIアップデートに対する追従も、TROCCO®内部で自動的に行われます。

追従イメージ

ベーシックな ETL はノーコードで簡単に。
プログラミング言語による独自実装にも対応

よくあるETL処理はGUIで簡単に設定。 複雑な処理が必要な場合は、プログラミングETLで対応可能です。
ニーズやリテラシーに応じて、データ整備・平準化を負担なく行うことができます。

  • マスキング
  • レコードフィルタ
  • ハッシュ化(SHA256)
  • 文字列置換(正規表現)
  • データ型変換
  • 文字列変換(NFKC)
  • プログラミングETL(Ruby / Python)
ETLイメージ

直感的かつ洗練されたUI/UX。
データエンジニアリングの最短経路を提供します。

設定・運用時の細かいイライラを最小限に。
エンジニアが自ら使いたくなるように考え抜かれたUIは、データエンジニアリング上の各種タスクに対して「最短経路」を提供します。

  • 設定の下書き保存
  • ラベル管理
  • テスト実行
  • 一括編集機能
  • 接続確認
  • 3ステップ完了する簡単設定
  • 入力サジェスト
  • コード差分確認
転送方式イメージ

Technical Capabilities

  • BigQueryの分割テーブル・クラスタリングにネイティブ対応

    BigQueryの分割テーブルや、クラスタリングテーブルの作成・更新に対応しています。

  • スキーマの自動推論

    転送元がファイル形式の場合*、ファイル圧縮形式・フォーマット・スキーマ(データ型)を自動で推論。マッピングや型入力のコストを削減できます。

    * Amazon S3、Google Spreadsheetsなど

  • JSON型展開

    転送元のJSON型データを展開し、転送先のカラムにマッピング可能です。

  • 広告レポートテンプレート

    TROCCO®独自に提供するレポートテンプレートにより、広告系コネクタからのデータ抽出を効率化。 広告分析に最適なフィールドをサジェストします。

  • ジョブのテスト実行

    作成した転送設定*で問題なくジョブが実行できるか、本番環境に適応する前にテスト実行で確認することができます。

    * 転送先BigQueryの場合のみ

  • カスタム変数

    ETLパイプラインの設定の各所にカスタム変数を埋め込み可能です。 手動再実行時などのバックフィル用途で利用できるほか、ループ実行などの柔軟な実行方法をサポートします。

約100種のコネクタに対応

リバースETLを含めて実現可能です。

他の機能を見る

  • データマート生成(ELT)

    SQLエディタで変換処理を書くだけで、DWH上のログをビジネス活用しやすい状態に整備

  • ワークフロー (ジョブ管理)

    複雑なパイプラインもGUIで定義。データエンジニアに必要な接続先が豊富

  • データチェック

    DWH上に蓄積されたデータに対し、柔軟なテスト・検証が可能

  • Git・API連携機能

    Infrastructure as Codeをデータ基盤にも。外部ツールとのAPI連携も充実

  • 運用支援 (DevOps)

    通知や再実行など、データ基盤の運用に必要な支援機能を、エンジニア目線で開発

  • Web行動ログ収集SDK

    専用のSDKでWebサイトのログ・イベントを収集し、お好きなDWHに転送

  • セキュリティ

    大切なデータを扱うため、暗号化やIP制限などの機能を搭載

  • サポート

    お客様専任の担当がつき、障害対応や運用をサポート