DataFlowのJob管理機能を追加してほしい

現在、DataFlowの実行スケジュール設定では「以下のDataSetのいずれかが更新されたら、自動的にDataFlowを実行」しかありませんが、「以下のDataSetのすべてが更新されたら、自動的にDataFlowを実行」も用意してほしい。

 

すべてを選択することができないので、ダミーファイルを作成したり、必要以上に時間を空けてから処理スケジュールを設定したり、手間がかかるうえに、データ更新時間も遅くなっているのが現状です。

13 votes

· Last Updated

Comments

  • 便乗させていただきます。

    「以下のDataSetのすべてを更新してから、DataFlowを実行」

    というのもあると

    dataの取り込みとdataflowのスケジュール設定を1箇所で出来るので

     非常にうれしいです。

     

  • @M3O4 @ユーザー09489 こんにちは!Dataflowに動かす時間を設定することができようになりましたので、そちらで代用できませんか?

  • @yinli 

     

    > Dataflowに動かす時間を設定することができようになりました

     

    ありがとうございます!

     

    やりたいことは「全部のDataSetの更新後」にDataFlowの実行のため理想としているものとは少し違いますが、今よりはシンプルな設定になりました。

     

    これまではダミーのDataSetを用意し
    「全部のDataSetの更新が終わってる(はず)の時間」にダミーのDataSetの取込スケジュールを設定し、ダミーのDataSetの変更をトリガーにDataFlowを実行
    という設定をしていました。

     

    このDataFlowのスケジュール機能を使って

    「全部のDataSetの更新が終わってる(はず)の時間」にDataFlowの実行のスケジュールを設定という形で設定が出来る様になったので設定としては今よりシンプルになりました。

     

     

     

     

     

     

  • Iz
    Iz 🟡

    @Tomo お疲れ様です!こちら私も首を長くしてお待ちしております><。

  • こちら、ずっと待っております。ぜひ実装していただきたいです。

     

    私の問題は、複数の前処理のDataFlowがすべて終わってから実行したいのですが

    毎日ムラがあって、それらの終了は、順番や時刻もころころ変わることです。

    DataFlowの更新はトリガーとして使用できないので、

    時間指定のトリガーでは無難に30分後とか1時間後とかにせざるを得ず、

    全体の終了時刻に影響を与えてしまいます。

     

    対策は、

      ①前処理のすべてに、それぞれのためのダミーのDataSetを更新するようにし、

      ②それらのすべての更新をトリガーとするDataFlowを作成し、すべて更新されたと判断したら、後処理のためのダミーのDataSetを更新、

      ③後処理ではダミーのDataSetをトリガーとして起動

    としております。

    ②の処理が、処理の制御のためだけのDataFlowとなり、わかりづらいです。

    またそもそも無駄です。

     

    "すべて更新された"という条件は曖昧で、システムによって要件が異なると思うので、

    n時間以内にすべて更新された場合に実行する、nを指定する、という設定があればうれしいなと思います。