29 lines
1.2 KiB
Markdown
29 lines
1.2 KiB
Markdown
|
||
# JOBについて
|
||
|
||
## Jobを実行する環境
|
||
|
||
JOBで起動する場合には様々なデプロイ方法があります。
|
||
単発で実行するする場合と、DAGによる管理が必要な場合があります。
|
||
|
||
| ツール名 | タイプ | 実行する場所 |
|
||
| -------------- | -------- | --------------------- |
|
||
| Cloud Runs JOB | JOB | GCP |
|
||
| K8s JOB | JOB | K8s |
|
||
| perfect | Workflow | VM/オンプレ/Cloud Run |
|
||
| Argo Workflow | Workflow | K8s |
|
||
| Apache Airflow | Workflow | GCP/VM/オンプレ |
|
||
|
||
* Perfectは2レイヤ構造になっている
|
||
* Server Sassを使うと「VM 1台 + Cloud Run Jobs」、
|
||
* Prefect Server/Cloud: UI・スケジューラ・状態管理（VM/オンプレ）
|
||
* Worker: 実行指示・起動: VM/オンプレ(Workerは常時起動が必要)
|
||
* Job実行体: 実際処理 -> Cloud Run Jobs
|
||
* Cloud Composer(GCPのAirflow) + Cloud Runs JOB
|
||
* クラウドサービスでの王道パターンです
|
||
* Cloud Runs JOBで構築するなら一番良さそうです
|
||
* K8sで実行するなArgo Workflowの一択
|
||
* Argo Workflow + Cloud Runs JOB
|
||
* Argo WorkflowでPodを実行する
|
||
|