1.2 KiB
1.2 KiB
JOBについて
Jobを実行する環境
JOBで起動する場合には様々なデプロイ方法があります。 単発で実行するする場合と、DAGによる管理が必要な場合があります。
| ツール名 | タイプ | 実行する場所 |
|---|---|---|
| Cloud Runs JOB | JOB | GCP |
| K8s JOB | JOB | K8s |
| perfect | Workflow | VM/オンプレ/Cloud Run |
| Argo Workflow | Workflow | K8s |
| Apache Airflow | Workflow | GCP/VM/オンプレ |
- Perfectは2レイヤ構造になっている
- Server Sassを使うと「VM 1台 + Cloud Run Jobs」、
- Prefect Server/Cloud: UI・スケジューラ・状態管理（VM/オンプレ）
- Worker: 実行指示・起動: VM/オンプレ(Workerは常時起動が必要)
- Job実行体: 実際処理 -> Cloud Run Jobs
- Cloud Composer(GCPのAirflow) + Cloud Runs JOB
- クラウドサービスでの王道パターンです
- Cloud Runs JOBで構築するなら一番良さそうです
- K8sで実行するなArgo Workflowの一択
- Argo Workflow + Cloud Runs JOB
- Argo WorkflowでPodを実行する