BinaryDevelop

  • airflow の execution_date: 変数としてアクセスする必要がある。

    質問 私はこのフォーラムでは本当に初心者です。しかし、私はいつからか、私たちの会社のために、気流で遊んでいます。 この質問が本当に馬鹿に聞こえたらすみません。 私はBashOperatorsの束を使用してパイプラインを書いています。 基本的に、各タスクについて、私は単に'curl'を使用してREST apiを呼び出したいと思っています。 私のパイプラインはこんな感じです（非常に単純化

    2023-10-02 13:31:02

  • [解決済み] ワークフローにおけるAirflowとAWS Step Functionsの比較

    質問 私は、AWS S3から入力データのセットを取得し、前処理と分割を行い、AWS Batchで分割されたデータを並行して処理するために10Kバッチコンテナをスピンアップし、データを後集約して、S3にプッシュするプロジェクトに取り組んでいます。 Airflow + Batchのソフトウェアパターンは他のプロジェクトで既に持っていますが、10k並列タスクのスケーリングファクターは扱ったこと

    2022-03-13 20:23:48

  • [解決済み] apache airflow: initdb と resetdb の比較

    質問 airflow initdbとairflow resetdbの違いは何ですか。 2つのコマンドは本当に必要なのでしょうか？ どのような場合に、どちらを使うのが適切ですか？ は doc とあるが エアフロー初期化 : メタデータ・データベースを初期化する エアフローリセットデータベース : メタデータ・データベースの焼失と再構築 これではよくわ

    2022-02-19 19:41:41

  • [解決済み] エアフローの変数 'ds' へのアクセス

    質問内容 Pythonのコードで以下のようにマクロにアクセスすることができます。 partition_dt = macros.ds_add(ds, 1) しかし、どのようにしたら ds 変数自体にアクセスできるのは、テンプレート内だけのようです。何かポインターはありますか？ 解決方法は？ AirFlow ds 内蔵のデフォルト変数である実行日（YYYY-MM-DD）を呼び

    2022-02-19 16:05:02

  • [解決済み] Airflowでタスクをスキップするには？

    質問 Airflowがアドホックな実行のためにDAG内のタスクのスキップをサポートしているかどうかを理解しようとしているのですが？ 例えば、私のDAGのグラフが次のようなものだとします。 タスク1 > タスク2 > タスク3 > タスク4 そして、タスク3から手動でDAGを開始したいのですが、どのような方法が良いでしょうか？ について読んだことがあります。 Sh

    2022-02-15 04:51:18

  • [解決済み] 気流埋め戻し明確化

    質問事項 これからAirbnbの エアフロー バックフィルがいつどのように行われるのか、まだよく分かっていません。 具体的には、2つのユースケースがあり、混乱しています。 もし私が airflow scheduler を数分間実行し、1分間停止した後、再び再起動すると、私のDAGは最初の30秒ほど余分なタスクを実行し、その後は通常通り（10秒ごとに実行）実行されるよう

    2022-02-14 02:26:40

  • [解決済み] Airflow：DAGを削除する方法は？

    質問内容 AirflowのWebサーバーを起動し、いくつかのダグをスケジュールしました。私はウェブGUI上でダグを見ることができます。 特定のDAGを実行してWeb GUIに表示しないようにするには、どうすればよいですか？それを行うためのAirflow CLIコマンドはありますか？ いろいろ探しましたが、一度ロードしてスケジュールしたDAGを削除する簡単な方法についての回答は見つかり

    2022-02-07 19:33:33

最新

おすすめ

について
/
プライバシー・ポリシー
/
お問い合わせ
© 2022 BinaryDevelop. すべての権利は、それぞれの所有者に帰属します