ETLのスケジュール設定で、日次や週次、個別に時間設定出来る機能がほしい

現在のETLの設定では、下記の設定があります。

「以下の DataSet のいずれかが更新されたら、自動で DataFlow を実行」

 

ですが、DataSetに2つ以上のチェックが付いている場合の時に、

それぞれのDataSetがほぼ同じタイミングで更新された時は、

先に更新されたDataSetに対して当DataFlowは実行され、

後に更新されたDataSetに対して当DataFlowは実行されず、

更新日だけが更新されるという謎の現象が発生しています。

 

その為、データに不具合があり原因解明に時間が掛かったりしますので、

スケジュールの設定で更新頻度を細かく設定出来る機能がほしいです。

 

そもそも、MQ(メッセージキューイング)のようなメッセージ連携なら、

上記のような現象は発生しないと思うのですが・・・

 

設定する項目の例として

 毎日

 毎週月曜、毎週火曜・・・

 XXXDataSet更新の60分後

などなどです。

(CSVアップロードのパワーアップ版というイメージです。)

 

ご検討のほど、宜しくお願い致します。

20 votes

· Last Updated

Comments

  • ”ひらめき”投稿ありがとうございます。

     

     

    今回の「スケジュールの設定で更新頻度を細かく設定出来る機能」につきまして、Domo側にて検討させていただきます。


    今後のトラッキング番号は以下DOMO-138598となります。

    進捗がございましたらお知らせいたします。

  • Magic ETLだけでなく、RedshiftやMySQLで作成したDataFlowについてもスケジューリングできるようになってほしいです。


    WorkbenchのDataSetJOBはスケジューリングできますが、
    インップットのDataSet が更新されていることに加え、

    DataFlow側でも日次、週次、月次等の間隔と何時にどのDataFlowが動くかという設定ができるようになったら

    パフォーマンスチューニングの観点でも大変うれしいです。

     

    どうしても実行されているDataFlowが複数あると処理が重くなる傾向なので・・・

     

    機能追加ご検討よろしくお願い致します。

  • @これっち こんにちは。Tomoです。

    DataFlowの「設定」タブから、毎時・毎日・毎週のように、独自で実行できる設定が増えました!

    ぜひ、お試し下さい。

     

  • @Tomo こんにちは。

    項目確認出来ました!

    設定・動作確認はまだですが、期待通りに動く想定です。

    対応有難うございました!!

     

  • @これっち ぜひぜひ動作かくにんして利用してみてください!

  • Tomo
    Tomo 🟢