Exemple e2e Datafactory

Exemple de model de treball per a CI/CD de datafactory

Com ja s’ha comentat anteriorment, el nou model de treball es basarà en :

• Gestió de branques amb un model Gitflow.
• Integracions de branques basades en Pull Request.
• Tagging d’artefactes i repositoris amb el model Semantic Version 2.0.

En el següent exemple es mostra l’execució e2e d’un flux de treball, des que el desenvolupador realitza la seva implementació en una branca Feature, fins al desplegament en Producció. La infraestructura ha estat desplegada prèviament.

L’accés a GHEC es realitzarà des de la URL: https://github.com/enterprises/gencat/.

1. Integració en branca develop des de feature L’usuari ja ha realitzat el seu desenvolupament en la branca feature des de la interfície de Azure datafactory o des de GitHub i es disposa a Integrar els seus canvis a develop.

   

   Objectiu : Integració de feature a develop.

   Actors:

   • Usuari amb Rol Write que realitza el desenvolupament.
   • Usuari amb Rol Maintain que aprova la Pull Request(PR).

   Resultat de l’operació :

   • Branca feature integrada en develop.
   • Codi validat per un Reviewer i per eines de qualitat i seguretat.

2. Validació funcional d’artefacte en desenvolupament. L’usuari es disposa a realitzar el desplegament de l’artefacte de datafactory a traves de la interfície de Azure datafactory mitjançant el boton “publish”.

   

   Objectiu : Desplegament en desenvolupament de l’artefacte de datafactory.

   Actors:

   • Usuari amb Rol Write o Maintain.

   Execució de Workflows :

   • Datafactory CI on commit to adf_publish, prepara i publica l’artefacte -SNAPSHOT..

   Resultat de l’operació :

   • Datafactory desplegat a l’entorn de Desenvolupament per a la seva validació.
   • Es llança un commit a la branca adf_publish que generés l’artefacte -SNAPSHOT.
   • Creació de TAG de repositori -SNAPSHOT.

3. Integració en branca release des de develop Un cop validat el codi en l’entorn de desenvolupament, el desenvolupador pot promocionar-lo a la branca Release i així poder desplegar-lo posteriorment al pas 4.

   

   Objectiu : Integrar el codi a Release per posteriorment desplegar en entorns Preproductius un artefacte Release Candidate.

   Actors:

   • Usuari amb Rol Write realitza el desenvolupament i sol·licita la Pull Request.
   • Usuari amb Rol Maintain aprova la Pull Request.

   Execució de Workflows : Automàtic.

   • Datafactory CI on commit to Release/master. Genera l’artefacte de datafactory -RC.

   Resultat de l’operació :

   • Branca develop integrada en release.
   • Codi validat per un Reviewer i per eines de qualitat i seguretat.
   • Generació i pujada del artefacate datafactory a GitHub Artifacts.
   • Tag del repositori a 0.0.1-RC i Tag del artefacte datafactory a datafactory-0.0.1-RC.
   • Artefacte promocionat en el codi font a 0.0.1-RC.

4. Validació funcional d’artefacte en Preproducció Estant disponible el artefacte datafactory amb un tag vàlid, es realitza el desplegament per realitzar les validacions necessàries.

   

   Objectiu : Desplegament en Preproducció de l’artefacte de datafactory per a la seva validació funcional.

   Actors:

   • Usuari amb Rol Write o Maintain.

   Execució de Workflows : Sota Demanda per part de l’usuari.

   • Datafactory CD, comprova que existeixi l’artefact de datafactory, que es pugui desplegar en l’entorn de Preproducció, i executa el desplegament informant en ITSM.

     En aquest cas l’execució és manual i l’usuari haurà d’omplir un formulari amb la informació del desplegament (revisar com executar workflow manualment descrit en l’apartat Validació funcional d’artefacte en desenvolupament):

     • Branca o branch on es troba el workflow actualitzat: release.
     • Artifact Version : Versió de l’artefacte, en aquest cas 0.0.1-RC.
     • Project name : Nom de projecte.
     • Azure datafactory name: Nom de Azure datafactory
     • Environment : Pre, per al desplegament a preproducció.
     • ITSM ID Change Coordinator: ID de l’usuari per crear la CRQ en ITSM amb l’objectiu d’informar sobre el desplegament.

   Resultat de l’operació :

   • Artefacte datafactory desplegat a l’entorn de Preproducció per a la seva validació.
   • Creació de TAG de repositori «tag-repositori-actual»-preproduction per a propòsits de rollback automàtic. Exemple “0.0.1-RC-preproduction”.

5. Integració en branca master des de release Una vegada realitzara la validació funcional, l’usuari es disposa a integrar en master per a deixar un artefacte disponible per a desplegar en Producció.

   

   Objectiu : Integrar el codi a branca master i generar artefacte final per al desplegament en Producció.

   Actors:

   • Usuari amb Rol Write realitza el desenvolupament i sol·licita la Pull Request a màster.
   • Usuari amb Rol Maintain aprova la Pull Request.

   Execució de Workflows : Automàtic

   • Datafactory CI on commit to Release/master. Genera l’artefacte de datafactory per a produccion.

   Resultat de l’operació :

   • Branca release integrada en master.
   • Generació i pujada del artefacte datafactory a GitHub Artifacts.
   • Tag del repositori a 0.0.1 i Tag del artefacte datafactory a datafactory-0.0.1.
   • Artefacte promocionat en el codi font a 0.0.1.

6. Desplegament d’aplicació a Producció Una vegada hi ha l’artefacte disponible a GitHub Artifacts amb un tag que habilita la seva promoció a pro, i totes les validacions realitzades en entorns Preproductius, l’artefacte es pot desplegar en Producció

   

   Objectiu : Desplegament en Producció de l`artefacte datafactory.

   Actors:

   • Usuari amb Rol Write o Maintain.

   Execució de Workflows : Sota Demanda per part de l’usuari.

   • Datafactory CD, comprova que existeixi l’artefact de datafactory, que es pugui desplegar en l’entorn de Producció, i executa el desplegament informant en ITSM.

   En aquest cas l’execució és manual i l’usuari haurà d’omplir un formulari amb la informació del desplegament:

   • Branca o branch on es troba el workflow actualitzat: release.
   • Artifact Version : Versió de l’artefacte, en aquest cas 0.0.1-RC.
   • Project name : Nom de projecte.
   • Azure datafactory name: Nom de Azure datafactory
   • Environment : Pre, per al desplegament a preproducció.
   • ITSM ID Change Coordinator: ID de l’usuari per crear la CRQ en ITSM amb l’objectiu d’informar sobre el desplegament.

   Resultat de l’operació :

   • Artefacte datafactory desplegat a l’entorn de Producció.
   • Creació de TAG de repositori «tag-repositori-actual»-production per a propòsits de rollback automàtic. Exemple “0.0.1-production”.