5. Analítica avançada i IA

Analítica avançada i IA

Els components tecnològics desenvolupats per la Generalitat de Catalunya i el Centre de Telecomunicacions i Tecnologies de la Informació (CTTI) s’integren amb la Plataforma Transversal de Dades (PTD), proporcionant suport complet i d’extrem a extrem al cicle de MLOps i LLMOps, i facilitant l’execució de projectes d’analítica avançada i d’intel·ligència artificial, tant tradicional com generativa.

Funcions

Integrats amb la Plataforma Transversal de Dades (PTD) i basats en tecnologia Databricks, aquesta arquitectura completa té com a objectius principals:

• Proporcionar eines i serveis per al desenvolupament, desplegament i manteniment d’operacions d’aprenentatge automàtic i d’intel·ligència artificial.
• Garantir la governança, la gestió i el seguiment de projectes i casos d’ús.
• Desenvolupar, donar suport i facilitar la implementació de casos d’ús impulsats tant per proveïdors com per equips interns de la Generalitat.
• Potenciar casos d’ús clau d’intel·ligència artificial generativa, com ara el resum automàtic de continguts, la identificació de referències, els xatbots i els sistemes amb generació augmentada de recuperació (RAG).
• Ampliar l’abast a altres àmbits com el processament d’imatges i d’àudio.

Beneficis

• Governança unificada i alta qualitat de les dades: Gestió centralitzada de models i dades mitjançant Databricks Unity Catalog, garantint fiabilitat, consistència i traçabilitat completa.
• Control d’accés basat en rols: Definició clara de privilegis segons el perfil d’usuari, incloent enginyers de dades, científics de dades, enginyers ML i professionals DevOps.
• Integració d’eines per a aprenentatge automàtic i IA generativa: Desenvolupament fluït de models aprofitant Databricks Mosaic AI i altres eines compatibles.
• Automatització del desplegament i compatibilitat amb CI/CD: Suport per a pipelines existents (SIC+) que agiliten la implementació de projectes d’analítica avançada i intel·ligència artificial.
• Monitoratge i eficiència en costos: Seguiment centralitzat de gestió, rendiment i costos dels recursos, amb etiquetes FinOps.
• Conformitat normativa i seguretat: Compliment dels requisits legals, reguladors i de seguretat.
• Models i sistemes robustos i precisos: Disseny segons bones pràctiques i validacions continuades, amb explicabilitat que facilita interpretació i confiança.
• Escalabilitat de la infraestructura: Capacitat d’adaptar-se a l’evolució i la magnitud dels projectes.
• Explicabilitat dels models, que en facilita la interpretació, la transparència i la confiança en els resultats.

Transparència i explicabilitat dels models

L’acord de Govern de febrer 2024, pel qual es crea la Comissió d’IA, estableix la necessitat d’impulsar la construcció d’un Registre de sistemes d’Intel·ligència Artificial i Transparència de l’Administració de la Generalitat.

Aquesta solució corporativa, actualment construïda amb tecnologia LowCode de Microsoft (PowerApp Canva), és un inventari que permet integrar tota la informació i documentació tècnica relativa als sistemes d’IA i altres algorismes emprats en els serveis de l’administració complint amb els requisits de l’AI Act per a sistemes d’alt risc. El Registre permet proporcionar visibilitat i control sobre tots els sistemes emprats facilitant la col·laboració entre àrees, el reaprofitament de desenvolupaments previs, i la promoció de bones pràctiques en l’ús d’eines analítiques.

A més, el Registre serveix de base per a una pàgina web pública. Aquesta pàgina es nodreix de la informació del Registre utilitzant com a enllaç el Portal de Dades Obertes. Tot això amb l’objectiu d’oferir informació al ciutadà sobre l’ús de tecnologies d’IA per l’Administració i exemplificant un ús ètic i fiable de la tecnologia en el sector públic.

Així doncs, aquesta solució esta desenvolupada amb un doble enfocament:

• Registre d’IA: Solució corporativa desenvolupada per garantir l’accés, consulta i emplenament als tècnics de l’administració.
• Web del Registre d’IA: Solució web pública desenvolupada per garantir l’accés i el compliment del deure de transparència envers la ciutadania.

Cartera de serveis

Els serveis disponibles i en construcció, tenen com a objectiu respondre a necessitats estratègiques i transversals dels Departaments de la Generalitat de Catalunya i el seu sector públic.

Actualment es disposa de:

• Model MLOps per la productivització de casos d’us d’aprenentatge automàtic.
• Model LLMOps per la productivització de IA generativa.
• Servei d’anonimització (SaaS)

A futur es preveu disponibilitzar serveis que permetin la detecció de dades en documents o l’aplicació d’intel·ligència en els processos.

Documentació explicativa de referència

A continuació es facilita una descripció de les guies disponibles:

Document	Descripció	Darrera data d’actualització
Guia per al desenvolupament de casos d’ús de Machine Learning	Guia completa per implementar casos d’ús d’ML per a casos de classificació, regressió i previsió dins de la plataforma MLOps desenvolupada, allotjada a Azure Databricks. Segueix les bones pràctiques de Databricks per als científics de dades, els enginyers de ML i l’equip de DevOps que busquen racionalitzar tot el cicle de vida dels models de ML i descriu un procés de desplegament estructurat des del desenvolupament fins als entorns de preproducció i producció.	10/04/2025
Guia per desenvolupar casos d’ús de GenAI	Guia completa per implementar un xatbot amb integració de Generació Augmentada de Recuperació (RAG), i càrrega de documentació en temps real, allotjat a Azure Databricks. Segueix les millors pràctiques de Databricks per a científics de dades, enginyers de ML i equips de DevOps que busquen racionalitzar tot el cicle de vida dels models GenAI, es detalla un procés de desplegament estructurat des dels entorns de desenvolupament fins a la producció	10/04/2025
Plantilla de document tècnic per sistemes d’aprenentatge automàtic	A completar	A completar
Plantilla de document tècnic per sistemes de intel·ligència artificial generativa	A completar	A completar
Guia d’explicabilitat del models d’IA	El document que té com a objectiu principal proporcionar un marc tècnic i pràctic comprensiu sobre l’explicabilitat en sistemes d’intel·ligència artificial.	03/11/2025
Guia de personalitat dels xatbots	A completar	A completar