ETLのスケジュール設定で、日次や週次、個別に時間設定出来る機能がほしい

これっち

現在のETLの設定では、下記の設定があります。

「以下の DataSet のいずれかが更新されたら、自動で DataFlow を実行」

 

ですが、DataSetに2つ以上のチェックが付いている場合の時に、

それぞれのDataSetがほぼ同じタイミングで更新された時は、

先に更新されたDataSetに対して当DataFlowは実行され、

後に更新されたDataSetに対して当DataFlowは実行されず、

更新日だけが更新されるという謎の現象が発生しています。

 

その為、データに不具合があり原因解明に時間が掛かったりしますので、

スケジュールの設定で更新頻度を細かく設定出来る機能がほしいです。

 

そもそも、MQ（メッセージキューイング）のようなメッセージ連携なら、

上記のような現象は発生しないと思うのですが・・・

 

設定する項目の例として

　毎日

　毎週月曜、毎週火曜・・・

　XXXDataSet更新の60分後

などなどです。

（CSVアップロードのパワーアップ版というイメージです。）

 

ご検討のほど、宜しくお願い致します。

Unknown

”ひらめき”投稿ありがとうございます。

 

 

今回の「スケジュールの設定で更新頻度を細かく設定出来る機能」につきまして、Domo側にて検討させていただきます。

今後のトラッキング番号は以下DOMO-138598となります。

進捗がございましたらお知らせいたします。

Unknown

Ishizaka

Magic ETLだけでなく、RedshiftやMySQLで作成したDataFlowについてもスケジューリングできるようになってほしいです。

WorkbenchのDataSetJOBはスケジューリングできますが、
インップットのDataSet が更新されていることに加え、

DataFlow側でも日次、週次、月次等の間隔と何時にどのDataFlowが動くかという設定ができるようになったら

パフォーマンスチューニングの観点でも大変うれしいです。

 

どうしても実行されているDataFlowが複数あると処理が重くなる傾向なので・・・

 

機能追加ご検討よろしくお願い致します。

Tomo

@これっち こんにちは。Tomoです。

DataFlowの「設定」タブから、毎時・毎日・毎週のように、独自で実行できる設定が増えました！

ぜひ、お試し下さい。

 

これっち

@Tomo　こんにちは。

項目確認出来ました！

設定・動作確認はまだですが、期待通りに動く想定です。

対応有難うございました！！

 

Tomo

@これっち ぜひぜひ動作かくにんして利用してみてください！

Tomo