ETLのスケジュール設定で、日次や週次、個別に時間設定出来る機能がほしい
現在のETLの設定では、下記の設定があります。
「以下の DataSet のいずれかが更新されたら、自動で DataFlow を実行」
ですが、DataSetに2つ以上のチェックが付いている場合の時に、
それぞれのDataSetがほぼ同じタイミングで更新された時は、
先に更新されたDataSetに対して当DataFlowは実行され、
後に更新されたDataSetに対して当DataFlowは実行されず、
更新日だけが更新されるという謎の現象が発生しています。
その為、データに不具合があり原因解明に時間が掛かったりしますので、
スケジュールの設定で更新頻度を細かく設定出来る機能がほしいです。
そもそも、MQ（メッセージキューイング）のようなメッセージ連携なら、
上記のような現象は発生しないと思うのですが・・・
設定する項目の例として
毎日
毎週月曜、毎週火曜・・・
XXXDataSet更新の60分後
などなどです。
（CSVアップロードのパワーアップ版というイメージです。）
ご検討のほど、宜しくお願い致します。
Comments
-
”ひらめき”投稿ありがとうございます。
今回の「スケジュールの設定で更新頻度を細かく設定出来る機能」につきまして、Domo側にて検討させていただきます。
今後のトラッキング番号は以下DOMO-138598となります。進捗がございましたらお知らせいたします。
0 -
0
-
Magic ETLだけでなく、RedshiftやMySQLで作成したDataFlowについてもスケジューリングできるようになってほしいです。
WorkbenchのDataSetJOBはスケジューリングできますが、
インップットのDataSet が更新されていることに加え、DataFlow側でも日次、週次、月次等の間隔と何時にどのDataFlowが動くかという設定ができるようになったら
パフォーマンスチューニングの観点でも大変うれしいです。
どうしても実行されているDataFlowが複数あると処理が重くなる傾向なので・・・
機能追加ご検討よろしくお願い致します。
0 -
0
