5. Serveis Transversals d’Analítica avançada i IA

Què és l’STA?

Els Serveis Transversals d’Analítica avançada i Intel·ligència Artificial (STA), promoguts per la Generalitat de Catalunya conjuntament amb el Centre de Telecomunicacions i Tecnologies de la Informació (CTTI) són un conjunt de components tecnològics integrats amb la Plataforma Transversal de Dades (PTD) que tenen per objectiu proveir d’eines i serveis d’analítica avançada i intel·ligència artificial (IA) corporatius.

Beneficis

• Alts estàndards de govern i qualitat de dades;
• Automatització del lliurament de projectes d’IA;
• Seguiment central de la gestió, el rendiment i el cost;
• Traçabilitat;
• Conformitat;
• Models i sistemes fiables i precisos;
• Escalabilitat.

L’STA està dissenyada per abastar tot el cicle complet MLOps i LLMOps d’extrem a extrem per a l’anàlisi avançada i per donar suport a casos d’ús d’IA tradicional i generativa. Totalment integrada amb la PTD en termes de dades i components, també es basa en tecnologia Databricks. Els objectius principals d’aquests components són:

• Donar suport a casos d’ús clau de Machine Learning (ML) que poden incloure casos de regressió, classificació o previsió.
• Proporcionar eines i serveis per al desenvolupament, desplegament i manteniment d’operacions d’anàlisi corporatives, de ML, IA i IA Generativa (IAGen).
• Permetre la governança, la gestió i el seguiment de projectes analítics avançats, de ML, IA i IAGen.
• Desenvolupar i oferir suport tècnic per a casos d’ús desenvolupats per proveïdors per a la Generalitat.
• Donar suport a casos d’ús clau d’IA de generació de text que poden incloure resum de contingut, identificació de referències, xatbots i xatbots amb generació augmentada de recuperació (RAG).
• També es poden implementar altres casos d’ús relacionats amb el processament d’imatges i àudio dins de l’ecosistema Databricks.

Cartera de serveis

Els serveis disponibles i en construcció, tenen com a objectiu respondre a necessitats estratègiques i transversals dels Departaments de la Generalitat de Catalunya i el seu sector públic

Actualment es disposa de:

• Plataforma MLOps
• Plataforma d’IA i IAGen
• Servei d’anonimització (SaaS)

A futur es preveu disponibilitzar serveis que permetin la detecció de dades en documents o l’aplicació d’intel·ligència en els processos.

Arquitectura de l’STA

Aquesta secció presenta un accelerador dissenyat per implementar casos d’ús de ML i GenAI de manera efectiva. L’STA té com a objectiu actuar com una plataforma MLOps i LLMOps, donant suport tant a projectes de ML tradicional com d’IAGen al llarg de tot el seu cicle de desplegament, des del desenvolupament fins a la producció.

STA utilitza Databricks, integrant-se amb PTD i seguint les seves millors pràctiques.

Plantilles per al Desenvolupament i Desplegament

STA proporciona dues plantilles diferenciades per simplificar el desenvolupament i el desplegament automatitzat de diversos casos d’ús:

• ML tradicional: Casos d’ús com models de regressió i classificació.
• IAGen: Aplicacions com xatbots de preguntes i respostes.

Principals Avantatges de l’STA

• Governança Unificada: Gestió centralitzada de models i dades dins del PTD mitjançant Databricks Unity Catalog.
• Control d’Accés Basat en Rols: Definició clara dels rols i privilegis segons el perfil d’usuari, incloent enginyers de dades, científics de dades, enginyers ML i professionals DevOps.
• Integració d’Eines: Integració fluida d’eines per al desenvolupament de models ML i GenAI, aprofitant les capacitats de Databricks Mosaic AI.
• Compatibilitat amb CI/CD: Integració completa amb les pipelines existents de CI/CD (SIC+).
• Eficiència en Costos: Monitoratge efectiu dels costos dels recursos implementats mitjançant etiquetes FinOps.

Aquest accelerador garanteix fluxos de treball optimitzats, una governança robusta i operacions rendibles per als projectes ML i IAGen.

Transparència i Explicabilitat dels models

Registre d’Intel·ligència Artificial i Web

L’acord de Govern de febrer 2024, pel qual es crea la Comissió d’IA, estableix la necessitat d’impulsar la construcció d’un Registre de sistemes d’Intel·ligència Artificial i Transparència de l’Administració de la Generalitat.

Aquesta solució corporativa, actualment construïda amb tecnologia LowCode de Microsoft (PowerApp Canva), és un inventari que permet integrar tota la informació i documentació tècnica relativa als sistemes d’IA i altres algorismes emprats en els serveis de l’administració complint amb els requisits de l’AI Act per a sistemes d’alt risc. El Registre permet proporcionar visibilitat i control sobre tots els sistemes emprats facilitant la col·laboració entre àrees, el reaprofitament de desenvolupaments previs, i la promoció de bones pràctiques en l’ús d’eines analítiques.

A més, el Registre serveix de base per a una pàgina web pública. Aquesta pàgina es nodreix de la informació del Registre utilitzant com a enllaç el Portal de Dades Obertes. Tot això amb l’objectiu d’oferir informació al ciutadà sobre l’ús de tecnologies d’IA per l’Administració i exemplificant un ús ètic i fiable de la tecnologia en el sector públic.

Així doncs, aquesta solució esta desenvolupada amb un doble enfocament:

• Registre d’IA: Solució corporativa desenvolupada per garantir l’accés, consulta i emplenament als tècnics de l’administració

• Web del Registre d’IA: Solució web pública desenvolupada per garantir l’accés i el compliment del deure de transparència envers la ciutadania.

Documentació explicativa de referència

La documentació relativa a l’STA es troba disponible a l’apartat 6. Documentació. A continuació es facilita una descripció de les dues guies disponibles:

Documents	Descripció	Darrera data actualització
Guia per desenvolupar casos d’ús MLOps	Guia completa per implementar casos d’ús d’ML per a casos de classificació, regressió i previsió dins de la plataforma MLOps desenvolupada, allotjada a Azure Databricks. Segueix les bones pràctiques de Databricks per als científics de dades, els enginyers de ML i l’equip de DevOps que busquen racionalitzar tot el cicle de vida dels models de ML i descriu un procés de desplegament estructurat des del desenvolupament fins als entorns de preproducció i producció.	10/04/2025
Guia per desenvolupar casos d’ús IAGen	Guia completa per implementar un xatbot amb integració de Generació Augmentada de Recuperació (RAG), i càrrega de documentació en temps real, allotjat a Azure Databricks. Segueix les millors pràctiques de Databricks per a científics de dades, enginyers de ML i equips de DevOps que busquen racionalitzar tot el cicle de vida dels models GenAI, es detalla un procés de desplegament estructurat des dels entorns de desenvolupament fins a la producció	10/04/2025