Exemple e2e Azure batch

Exemple de model de treball per a CI/CD d’un Azure batch

Com ja s’ha comentat anteriorment, el nou model de treball es basarà en :

• Gestió de branques amb un model Gitflow.
• Integracions de branques basades en Pull Request.
• Tagging d’artefactes i repositoris amb el model Semantic Version 2.0.

En el següent exemple es mostra l’execució e2e d’un flux de treball, des que el desenvolupador realitza la seva implementació en una branca Feature, fins al desplegament en Producció. La infraestructura ha estat desplegada prèviament. En el cas que l’ aplicació no disposi d’ entorn de desenvolupament, l’ estratègia seria la integració de feature en develop i d’ aquesta a rellegeixi sense desplegar en l’ entorn de development.

L’accés a GHEC es realitzarà des de la URL: https://github.com/enterprises/gencat/.

0. Prerequisits Per a poder aplicar aquesta lògica és necessari partir d’una configuració correcta de Azure batch, en concret la que permet executar imatges de contenidor des de batch. A continuació deixem un snipet d’exemple amb la configuració:

   resource "azurerm_batch_pool" "pool" {
       name                = "pool_name"
       resource_group_name = "rg_name"
       account_name        = "account_name"
       display_name        = "containers_pool"
       vm_size             = "Standard_D2s_v3"
       target_dedicated_nodes = 1
   
       image_reference {
            publisher = "microsoft-azure-batch"
            offer     = "ubuntu-server-container"
            sku       = "20-04-lts"
            version   = "latest"
       }
       node_agent_sku_id = "batch.node.ubuntu 20.04"
   
       container_configuration {
            type = "dockerCompatible"
   
            container_registries {
                 registry_server = "registry"
                 user_name       = "user"
                 password        = "pass"
           }
       }
   }
   
   resource "azurerm_batch_job" "job" {
       name                = "job_id"
       resource_group_name = "reg_name"
       account_name        = "account_name"
       pool_id             = azurerm_batch_pool.pool.id
       display_name        = "example_job"
   }
   
   resource "azurerm_batch_task" "task" {
       task_id             = "task_id"
       resource_group_name = "reg_name"
       account_name        = "account_name"
        job_name            = azurerm_batch_job.job.name
        display_name        = "task_example"
   
        command_line = "/bin/bash -lc \"echo 'Hello world"
   
        container_settings {
             image_name        = "azure.acr.registry/image:1.0.0"
             registry          = "azure.acr.registry"
             working_directory = "TASK_WORKING_DIRECTORY"
        }
   }
   

1. Integració en branca develop des de feature L’usuari ja ha realitzat el seu desenvolupament en la branca feature i es disposa a Integrar els seus canvis a develop.

   

   Objectiu : Integració de feature a develop i generació d’artefacte per a desplegament en Desenvolupament.

   Actors:

   • Usuari amb Rol Write que realitza el desenvolupament.
   • Usuari amb Rol Maintain que aprova la Pull Request(PR).

   Configuració dels workflow per a Azure batch:

   • Aquest necessari definir “cloud: azure” i “engine: registry” en el fitxer “.github/workflows/container-cd.yaml”

   Execució de Workflows : Automàtic

   • Container CI on PR en realitzar la PR. Genera l’artefacte, havent realitzat prèviament anàlisi de qualitat i seguretat.
   • Container CI on Commit to develop, en realitzar el Commit, empaquetant el codi en una imatge de contenidor i pujant-la al registre d’imatges Jfrog Artifactory.

   Resultat de l’operació :

   • Branca feature integrada en develop.
   • Codi validat per un Reviewer i per eines de qualitat i seguretat.
   • Generació i pujada de la imatge de contenidor a Jfrog Artifactory.
   • Tag del repositori a 0.0.1-SNAPSHOT i Tag de la imatge a app.0.0.1-SNAPSHOT.

2. Validació funcional d’artefacte en desenvolupament. L’usuari es disposa a realitzar el desplegament de l’artefacte generat en el pas 1 i desplegar-lo en l’entorn de desenvolupament per a la seva validació funcional.

   

   Objectiu : Desplegament en desenvolupament de l’artefacte generat anteriorment per a la seva validació.

   Actors:

   • Usuari amb Rol Write o Maintain.

   Execució de Workflows : Sota Demanda per part de l’usuari.

   • Container CD, comprova que existeixi la imatge, que es pugui desplegar en l’entorn, i executa el desplegament.

     En aquest cas l’execució és manual i per a això l’usuari (independentment del seu rol, però s’aconsella que sigui el de maintain) tindrà que :

     1. Accedir als WorkFlows del repositori mitjançant l’opció “Actions”, indicada en l’apartat Configuració dels diferents WorkFlows de CI/CD

     2. Seleccionar el workflow a executar, en aquest cas Container CD, i prèmer “Run Workflow”, apareixent el formulari per introduir la informació necessària per l’execució:

        

     • Branca o branch on es troba el workflow actualitzat: develop.
     • Artifact Version : Versió de l’artefacte, en aquest cas 0.0.1-SNAPSHOT.
     • Environment : dev, per al desplegament a desenvolupament.
     • ITSM ID Change Coordinator: ID de l’usuari per crear la CRQ en ITSM amb l’objectiu d’informar sobre el desplegament.

     3. Execució de Azure batch amb la nova imatge generada: El procés de CD finalitza amb la pujada de la imatge al registre de Azure ACR, quedant fora de l’abast d’aquest l’execució del propi contenidor i havent de realitzar-se per part de l’aplicació.

        • L’execució de la task amb la imatge generada es pot fer de manera similar a aquesta:

          az batch task create \
            --account-name ACCOUNT_NAME \
            --job-id JOB_ID \
            --task-id TASK_ID \
            --image "IMAGE" \
            --command-line "/bin/bash -c 'CMD'" \
            --container-run-options "--rm" \
            --environment-settings KEY1=value1 KEY2=value2
          
          curl -X POST \
          "https://ACCOUNT_NAME.REGION.batch.azure.com/jobs/JOB_ID/tasks?api-version=2025-06-01" \
          -H "Content-Type: application/json; odata=minimalmetadata" \
          -H "Authorization: Bearer <TOKEN>" \
          -d '{
              "id": "TASK_ID",
              "commandLine": "/bin/bash -c '\''CMD'\''",
              "containerSettings": {
                "imageName": "IMAGE",
                "containerRunOptions": "--rm"
              },
            "environmentSettings": [
              { "name": "KEY1", "value": "value1" },
              { "name": "KEY2", "value": "value2" }
            ]
          }'
          

   Resultat de l’operació :

   • Codi desplegat a l’entorn de Desenvolupament per a la seva validació.
   • Creació de TAG de repositori «tag-repositori-actual»-development per a propòsits de rollback automàtic. Exemple “0.0.1-SNAPSHOT-development”.
   • Codi executat i testat en Azure batch.

3. Integració en branca release des de develop Un cop validat el codi en l’entorn de desenvolupament, el desenvolupador pot promocionar-lo a la branca Release i així poder desplegar-lo posteriorment al pas 4.

   

   Objectiu : Integrar el codi a Release per posteriorment desplegar en entorns Preproductius un artefacte Release Candidate.

   Actors:

   • Usuari amb Rol Write realitza el desenvolupament i sol·licita la Pull Request.
   • Usuari amb Rol Maintain aprova la Pull Request.

   Execució de Workflows : Automàtic.

   • Container CI on Commit en aprovar la Pull Request. L’artefacte ha estat creat a la fase anterior i només es realitza un “Re-Tag” amb el tag de release.

   Resultat de l’operació :

   • Branca develop integrada en release.
   • Re-Tag de la imatge de contenidor en Jfrog Artifactory a app.0.0.1-RC (Release Candidate).
   • Re-Tag del repositori a 0.0.1-RC (Release Candidate).

4. Validació funcional d’artefacte en Preproducció Estant disponible la imatge amb un tag vàlid, es realitza el desplegament per realitzar les validacions necessàries.

   

   Objectiu : Desplegament en Preproducció de l’artefacte per a la seva validació funcional.

   Actors:

   • Usuari amb Rol Write o Maintain.

   Execució de Workflows : Sota Demanda per part de l’usuari.

   • Container CD, comprova que existeixi la imatge, que es pugui desplegar en l’entorn de Preproducció, i executa el desplegament informant en ITSM.

     En aquest cas l’execució és manual i l’usuari haurà d’omplir un formulari amb la informació del desplegament (revisar com executar workflow manualment descrit en l’apartat Validació funcional d’artefacte en desenvolupament):

     • Branca o branch on es troba el workflow actualitzat: release.
     • Artifact Version : Versió de l’artefacte, en aquest cas 0.0.1-RC.
     • Environment : pre, per al desplegament a Preproducció.
     • ITSM ID Change Coordinator: ID de l’usuari per crear la CRQ en ITSM amb l’objectiu d’informar sobre el desplegament.

   • Execució de Azure batch amb la nova imatge generada: El procés de CD finalitza amb la pujada de la imatge al registre de Azure ACR, quedant fora de l’abast d’aquest l’execució del propi contenidor i havent de realitzar-se per part de l’aplicació.

   • L’execució de la task amb la imatge generada es pot fer de manera similar a aquesta:

     az batch task create \
       --account-name ACCOUNT_NAME \
       --job-id JOB_ID \
       --task-id TASK_ID \
       --image "IMAGE" \
       --command-line "/bin/bash -c 'CMD'" \
       --container-run-options "--rm" \
       --environment-settings KEY1=value1 KEY2=value2
     
       curl -X POST \
          "https://ACCOUNT_NAME.REGION.batch.azure.com/jobs/JOB_ID/tasks?api-version=2025-06-01" \
          -H "Content-Type: application/json; odata=minimalmetadata" \
          -H "Authorization: Bearer <TOKEN>" \
          -d '{
              "id": "TASK_ID",
              "commandLine": "/bin/bash -c '\''CMD'\''",
              "containerSettings": {
                "imageName": "IMAGE",
                "containerRunOptions": "--rm"
              },
            "environmentSettings": [
              { "name": "KEY1", "value": "value1" },
              { "name": "KEY2", "value": "value2" }
            ]
          }'          
     

Resultat de l'operació :
    * Codi desplegat a l'entorn de Preproducció per a la seva validació. [Pendent] Es realitzaran validacions mitjançant la integració amb el Marc d'Automatització de Testing (MAT) i MAM (Marc d'Automatització de Monitoratge).  
    * Creació de TAG de repositori <<tag-repositori-actual>>-preproduction per a propòsits de rollback automàtic. Exemple "0.0.1-RC-preproduction".
    * Codi executat i testat en Azure batch.

5. Integració en branca master des de release Una vegada realitzara la validació funcional, l’usuari es disposa a integrar en master per a deixar un artefacte disponible per a desplegar en Producció.

   

   Objectiu : Integrar el codi a branca master i generar artefacte final per al desplegament en Producció.

   Actors:

   • Usuari amb Rol Write realitza el desenvolupament i sol·licita la Pull Request a màster.
   • Usuari amb Rol Maintain aprova la Pull Request.

   Execució de Workflows : Automàtic

   • Container CI on Commit en aprovar la Pull Request. L’artefacte ha estat creat a la fase anterior i només es realitza un “Re-Tag” amb el tag de master.

   Resultat de l’operació :

   • Branca release integrada en master.
   • Imatge de contenidor, a Jfrog Artifactory, amb nou Tag per desplegament en Producció app.0.0.1 (Final).
   • Re-Tag del repositori a 0.0.1.

6. Desplegament d’aplicació a Producció Una vegada hi ha l’artefacte disponible a Jfrog Artifactory amb un tag que habilita la seva promoció a pro, i totes les validacions realitzades en entorns Preproductius, l’artefacte es pot desplegar en Producció

   

   Objectiu : Desplegament en Producció de l’aplicació.

   Actors:

   • Usuari amb Rol Write o Maintain.

   Execució de Workflows : Sota Demanda per part de l’usuari.

   • Container CD, comprova que existeixi la imatge, que es pugui desplegar en l’entorn de Producció, i executa el desplegament informant en ITSM.

   En aquest cas l’execució és manual i l’usuari haurà d’omplir un formulari amb la informació del desplegament (revisar com executar workflow manualment descrit en l’apartat Validació funcional d’artefacte en desenvolupament):

   • Branca o branch on es troba el workflow actualitzat: master.

   • Artifact Version : Versió de l’artefacte, en aquest cas 0.0.1.

   • Environment : pro, per al desplegament a Producció.

   • ITSM ID Change Coordinator: ID de l’usuari per crear la CRQ en ITSM amb l’objectiu d’informar sobre el desplegament.

   • Execució de Azure batch amb la nova imatge generada: El procés de CD finalitza amb la pujada de la imatge al registre de Azure ACR, quedant fora de l’abast d’aquest l’execució del propi contenidor i havent de realitzar-se per part de l’aplicació. L’execució de la task amb la imatge generada es pot fer de manera similar a aquesta:

   az batch task create \
     --account-name ACCOUNT_NAME \
     --job-id JOB_ID \
     --task-id TASK_ID \
     --image "IMAGE" \
     --command-line "/bin/bash -c 'CMD'" \
     --container-run-options "--rm" \
     --environment-settings KEY1=value1 KEY2=value2
   
     curl -X POST \
        "https://ACCOUNT_NAME.REGION.batch.azure.com/jobs/JOB_ID/tasks?api-version=2025-06-01" \
        -H "Content-Type: application/json; odata=minimalmetadata" \
        -H "Authorization: Bearer <TOKEN>" \
        -d '{
          "id": "TASK_ID",
          "commandLine": "/bin/bash -c '\''CMD'\''",
          "containerSettings": {
            "imageName": "IMAGE",
            "containerRunOptions": "--rm"
          },
          "environmentSettings": [
            { "name": "KEY1", "value": "value1" },
            { "name": "KEY2", "value": "value2" }
          ]
        }'
   

Resultat de l'operació :
* Codi desplegat a l'entorn de Producció.
* Creació de TAG de repositori <<tag-repositori-actual>>-production per a propòsits de rollback automàtic. Exemple "0.0.1-production".
* Codi executat i testat en Azure batch.