ETLのスケジュール設定で、日次や週次、個別に時間設定出来る機能がほしい

これっち
これっち 🟢
in ひらめき共有

現在のETLの設定では、下記の設定があります。

「以下の DataSet のいずれかが更新されたら、自動で DataFlow を実行」

 

ですが、DataSetに2つ以上のチェックが付いている場合の時に、

それぞれのDataSetがほぼ同じタイミングで更新された時は、

先に更新されたDataSetに対して当DataFlowは実行され、

後に更新されたDataSetに対して当DataFlowは実行されず、

更新日だけが更新されるという謎の現象が発生しています。

 

その為、データに不具合があり原因解明に時間が掛かったりしますので、

スケジュールの設定で更新頻度を細かく設定出来る機能がほしいです。

 

そもそも、MQ（メッセージキューイング）のようなメッセージ連携なら、

上記のような現象は発生しないと思うのですが・・・

 

設定する項目の例として

　毎日

　毎週月曜、毎週火曜・・・

　XXXDataSet更新の60分後

などなどです。

（CSVアップロードのパワーアップ版というイメージです。）

 

ご検討のほど、宜しくお願い致します。

Tagged:
20
Up Down
20 votes

· Last Updated

Comments

  • Unknown
    Unknown

    ”ひらめき”投稿ありがとうございます。

     

     

    今回の「スケジュールの設定で更新頻度を細かく設定出来る機能」につきまして、Domo側にて検討させていただきます。


    今後のトラッキング番号は以下DOMO-138598となります。

    進捗がございましたらお知らせいたします。

  • Unknown
    Unknown
  • Ishizaka
    Ishizaka

    Magic ETLだけでなく、RedshiftやMySQLで作成したDataFlowについてもスケジューリングできるようになってほしいです。


    WorkbenchのDataSetJOBはスケジューリングできますが、
    インップットのDataSet が更新されていることに加え、

    DataFlow側でも日次、週次、月次等の間隔と何時にどのDataFlowが動くかという設定ができるようになったら

    パフォーマンスチューニングの観点でも大変うれしいです。

     

    どうしても実行されているDataFlowが複数あると処理が重くなる傾向なので・・・

     

    機能追加ご検討よろしくお願い致します。

  • Tomo
    Tomo 🟢

    @これっち こんにちは。Tomoです。

    DataFlowの「設定」タブから、毎時・毎日・毎週のように、独自で実行できる設定が増えました！

    ぜひ、お試し下さい。

     

  • これっち
    これっち 🟢

    @Tomo　こんにちは。

    項目確認出来ました！

    設定・動作確認はまだですが、期待通りに動く想定です。

    対応有難うございました！！

     

  • Tomo
    Tomo 🟢

    @これっち ぜひぜひ動作かくにんして利用してみてください！

  • Tomo
    Tomo 🟢

Categories