K8S部署分布式調(diào)度任務(wù)Airflow

作者：YP小站 2021-11-29 08:48:00

開源

分布式 本文部署 Airflow 穩(wěn)定版 2.1.4，Kubernetes使用1.20.x版本，PostgreSQL使用12.x，使用Helm Charts部署。

創(chuàng)新互聯(lián)公司是專業(yè)的普洱網(wǎng)站建設(shè)公司，普洱接單;提供網(wǎng)站制作、成都網(wǎng)站設(shè)計,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行普洱網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

一、部署要求

Apache Airflow 已通過以下測試：

注意: MySQL 5.x 版本不能或有運行多個調(diào)度程序的限制——請參閱調(diào)度程序文檔。MariaDB 未經(jīng)過測試/推薦。

注意: SQLite 用于 Airflow 測試。不要在生產(chǎn)中使用它。我們建議使用最新的 SQLite 穩(wěn)定版本進行本地開發(fā)。

PS：本文部署 Airflow 穩(wěn)定版 2.1.4，Kubernetes使用1.20.x版本，PostgreSQL使用12.x，使用Helm Charts部署。

二、生成Helm Charts配置

PS：使用 helm 3 版本部署

  
 
 
 

   
  
  
  
# 創(chuàng)建kubernetes airflow 命名空間
   
  
  
  
$ kubectl create namespace airflow
   
  
  
  

   
  
  
  
# 添加 airflow charts 倉庫源
   
  
  
  
$ helm repo add apache-airflow https://airflow.apache.org
   
  
  
  

   
  
  
  
# 更新 aiarflow 源
   
  
  
  
$ helm repo update
   
  
  
  

   
  
  
  
# 查看 airflow charts 所有版本（這里選擇部署charts 1.2.0，也就是airflow 2.1.4）
   
  
  
  
$ helm search repo apache-airflow/airflow -l
   
  
  
  

   
  
  
  
NAME                    CHART VERSION   APP VERSION DESCRIPTION
   
  
  
  
apache-airflow/airflow  1.3.0           2.2.1       The official Helm chart to deploy Apache Airflo...
   
  
  
  
apache-airflow/airflow  1.2.0           2.1.4       The official Helm chart to deploy Apache Airflo...
   
  
  
  
apache-airflow/airflow  1.1.0           2.1.2       The official Helm chart to deploy Apache Airflo...
   
  
  
  
apache-airflow/airflow  1.0.0           2.0.2       Helm chart to deploy Apache Airflow, a platform...
   
  
  
  

   
  
  
  
# 導(dǎo)出 airflow charts values.yaml 文件
   
  
  
  
$ helm show values apache-airflow/airflow --version 1.2.0 > airflow_1.2.4_values.yaml
  
 
 
 

三、修改airflow配置

3.1 配置持續(xù)存儲 StorageClass

PS: 使用阿里云NAS極速存儲

  
 
 
 

   
  
  
  
# 編輯 StorageClass 文件
   
  
  
  
$ vim alicloud-nas-airflow-test.yaml
   
  
  
  

   
  
  
  
apiVersion: storage.k8s.io/v1
   
  
  
  
kind: StorageClass
   
  
  
  
metadata:
   
  
  
  
  name: alicloud-nas-airflow-test
   
  
  
  
mountOptions:
   
  
  
  
  - nolock,tcp,noresvport
   
  
  
  
  - vers=3
   
  
  
  
parameters:
   
  
  
  
  volumeAs: subpath
   
  
  
  
  server: "xxxxx.cn-beijing.extreme.nas.aliyuncs.com:/share/airflow/"
   
  
  
  
provisioner: nasplugin.csi.alibabacloud.com
   
  
  
  
reclaimPolicy: Retain
   
  
  
  

   
  
  
  
# 應(yīng)用到K8S中
   
  
  
  
$ kubectl apply -f alicloud-nas-airflow-test.yaml
  
 
 
 

3.2 配置 airflow Dags 存儲倉庫 gitSshKey

  
 
 
 

   
  
  
  
# 編輯 airflow-ssh-secret.yaml 文件，首先需要把shh公鑰添加到git項目倉庫中
   
  
  
  
$ vim airflow-ssh-secret.yaml
   
  
  
  

   
  
  
  
apiVersion: v1
   
  
  
  
kind: Secret
   
  
  
  
metadata:
   
  
  
  
  name: airflow-ssh-secret
   
  
  
  
  namespace: airflow
   
  
  
  
data:
   
  
  
  
  # key needs to be gitSshKey
   
  
  
  
  gitSshKey: "ssh私鑰，base64"
   
  
  
  

   
  
  
  
# 應(yīng)用到K8S中
   
  
  
  
$ kubectl apply -f airflow-ssh-secret.yaml
  
 
 
 

3.3 Docker 部署 PostgreSQL 12

  
 
 
 

   
  
  
  
# 創(chuàng)建 postgresql 存儲目錄
   
  
  
  
$ mkdir /data/postgresql_data
   
  
  
  

   
  
  
  
# 創(chuàng)建啟動文件
   
  
  
  
$ vim docker-compose.yaml
   
  
  
  

   
  
  
  
version: "3"
   
  
  
  

   
  
  
  
services:
   
  
  
  
  airflow-postgres:
   
  
  
  
    image: postgres:12
   
  
  
  
    restart: always
   
  
  
  
    container_name: airflow-postgres
   
  
  
  
    environment:
   
  
  
  
      TZ: Asia/Shanghai
   
  
  
  
      POSTGRES_USER: airflow
   
  
  
  
      POSTGRES_PASSWORD: Airflow123
   
  
  
  
    volumes:
   
  
  
  
      - /data/postgresql_data:/var/lib/postgresql/data
   
  
  
  
    ports:
   
  
  
  
      - "5432:5432"
   
  
  
  

   
  
  
  
# 啟動 postgresql docker
   
  
  
  
$ docker-compose up -d
  
 
 
 

3.4 修改 airflow_1.2.4_values.yaml 配置

PS：本文 airflow_1.2.4_values.yaml 配置文件需要三個pvc，服務(wù)分別是 redis、worker(只部署1個worker，可以部署多個worker)、dags

因配置文件太長，不具體貼出，具體內(nèi)容請參考下面鏈接：

https://github.com/yangpeng14/DevOps/blob/master/config_dir/airflow_1.2.4_values.yaml

四、部署 Airfolw

  
 
 
 

   
  
  
  
# 第一次部署 Airflow
   
  
  
  
$ helm install airflow apache-airflow/airflow --namespace airflow --version 1.2.0 -f airflow_1.2.4_values.yaml
   
  
  
  

   
  
  
  
# 以后如果要修改airflow配置，請使用下面命令
   
  
  
  
$ helm upgrade --install airflow apache-airflow/airflow --namespace airflow --version 1.2.0 -f airflow_1.2.4_values.yaml
  
 
 
 

五、配置 Airflow Ingress Nginx 訪問入口

  
 
 
 

   
  
  
  
# 生成 ingress nginx 配置文件
   
  
  
  
$ vim airflow-ingress.yaml
   
  
  
  

   
  
  
  
apiVersion: networking.k8s.io/v1
   
  
  
  
kind: Ingress
   
  
  
  
metadata:
   
  
  
  
  name: airflow
   
  
  
  
  namespace: airflow
   
  
  
  
  annotations:
   
  
  
  
    kubernetes.io/ingress.class: nginx
   
  
  
  
    nginx.ingress.kubernetes.io/ssl-redirect: "false"
   
  
  
  
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "60"
   
  
  
  
    nginx.ingress.kubernetes.io/proxy-read-timeout: "60"
   
  
  
  
    nginx.ingress.kubernetes.io/proxy-send-timeout: "60"
   
  
  
  
spec:
   
  
  
  
  rules:
   
  
  
  
  - host: "airflow.cdxwcx.com"
   
  
  
  
    http:
   
  
  
  
      paths:
   
  
  
  
      - path: /
   
  
  
  
        pathType: Prefix
   
  
  
  
        backend:
   
  
  
  
          service:
   
  
  
  
            name: airflow-webserver
   
  
  
  
            port:
   
  
  
  
              number: 8080
   
  
  
  

   
  
  
  
# 應(yīng)用到K8S中
   
  
  
  
$ kubectl apply -f airflow-ingress.yaml
  
 
 
 

六、參考鏈接

1、https://github.com/apache/airflow/tree/2.1.4

2、https://airflow.apache.org/docs/helm-chart/1.2.0/index.html

新聞名稱：K8S部署分布式調(diào)度任務(wù)Airflow
鏈接URL：http://m.5511xx.com/article/djsocdg.html