ETLの処理速度を上げる方法
Best Answer
-
Redshiftのコネクタではなく、データフローのSQLで、MySQLを利用するか、Redshiftを利用するか、を選択できるようになります。
サポートへRedshiftの有効化を依頼すれば、Redshiftが選択できるようになります。
0
Answers
-
投稿ありがとうございます。
ETLのパフォーマンス・チューニングは、原因は個々のETLに依存するので、こうすれば早くなるという一般的な方法はありません。
処理を分解するなどして、遅延ポイントの特定と、改善を行っていくしかないです。
今後ETLのパフォーマンスが改善する可能性はありますが、現時点だと500万件を超えるようなデータフローの場合は、MySQLまたはRedshiftの方がパフォーマンスはよくなると思います。
0 -
回答有難うございます。
当初は大量データに関してSQLで対応していましたが、
とても処理が遅かったのでDOMOの方に相談したところ、
ETLの方が早いと聞きましたのでETLに寄せました。
仕様が変わりましたのでしょうか?
3 -
過去にETLとSQLで、パフォーマンスの状況が違った可能性はあります。
現時点では、MySQLとETLのパフォーマンスは同程度ですが、チューニングの自由度を考えるとMySQLの方が便利です。
大量データの場合は、Redshiftを有効化して頂いて利用頂くのが、現時点の最もよいパフォーマンスが期待できる利用方法になります。
0 -
回答有難うございます。
>Redshiftを有効化して
使用した事がないのですが、ヘルプでいう下記で合ってますか?
0 -
DataFlow SQLの処理の流れですが、自分たちが使用している環境だと
①対象のDataSetをSQLが使用できるサーバーにコピー
②コピーされたサーバーでSQLを実行
③実行結果のDataSetを元のサーバーにコピーすると聞いております。
なのでDataSetの容量が大きいとコピーだけに時間をとられ
結果的には自サーバーで処理を行うETLの方が処理が速いと伺っております。
この辺の流れが改善されたのでしょうか?0 -
ETLについても、「①対象のDataSetをSQLが使用できるサーバーにコピー」と「③実行結果のDataSetを元のサーバーにコピーする」は、実行されます。
なので、①と③に関して、ETLとSQLでの違いは、現状ありません。
0
Categories
- 10.6K All Categories
- 1 APAC User Group
- 12 Welcome
- 36 Domo News
- 9.6K Using Domo
- 1.9K Dataflows
- 2.4K Card Building
- 2.2K Ideas Exchange
- 1.2K Connectors
- 339 Workbench
- 252 Domo Best Practices
- 11 Domo Certification
- 461 Domo Developer
- 47 Domo Everywhere
- 100 Apps
- 703 New to Domo
- 84 Dojo
- Domopalooza
- 1.1K 日本支部
- 4 道場-日本支部へようこそ
- 22 お知らせ
- 63 Kowaza
- 296 仲間に相談
- 649 ひらめき共有