スケジュールレポート配信時間にDataFlowの処理が間に合わない

スケジュールレポートを使い、関係者に情報を配信していますが、

DataFlowの終了時間がまちまちのため、ある程度余裕をもって開始時間の設定をしておりました。

 

ところが最近、その考慮時間を超えて処理が終わる場合が多くなってきました。

(極端に速く終わるときも時々あります)

 

対応策として、

1)ETLをSQL/Redshiftに変え、処理時間を短くする

2)スケジュールレポートの開始時間を遅らせる

を考えておりますが、同じ状態(DataFlowの終了時間>スケジュールレポート配信時間)になる可能性は0ではありません。

 

理想的には、DataFlowの終了をトリガーにスケジュールレポートが配信されればよいと思っておりますが

(この時点でスケジュールレポートとは言えなくなりますが)、

現時点ではそのような機能は見当たりません。

 

何か良い方法はございますでしょうか?

よろしくお願いします。

Best Answer

  • これっち
    Accepted Answer

    こんにちは。

     

    対応策で上げている下記の2点くらいしか、今のところないと思います。

    >1)ETLをSQL/Redshiftに変え、処理時間を短くする

    >2)スケジュールレポートの開始時間を遅らせる

     

    Redshiftにすると、ETLより極端に早くなると思いますし、

    スケジュールの送信時間をDataFlow実行後の2時間後にでもすれば、

    ほぼほぼ、問題ないかと思います。

     

    ひらめき共有で投稿されてみては、如何でしょうか。

     

    あまりお役に立てずすみません。

     

Answers

  • やはりそうですか...

    ひらめき共有に上げたいと思います。

     

    ありがとうございました。