ContacteModels d’integració
Els diferents models d’integració de dades, que coexisteixen a l’arquitectura de Salut són:
- Events (Kafka): model asíncron basat en la publicació i subscripció de missatges sobre tòpics. Els dominis productors emeten esdeveniments que els consumidors processen de forma independent, sense acoblament directe entre sistemes. Enfocat a la missatgeria entre aplicacions.
- Connectors (Kafka Connect / XStreams): mecanisme de captura i replicació de dades entre sistemes. S’utilitzen principalment per a CDC i per alimentar fluxos cap a l’ecosistema analític, sempre amb autenticació OAuth.
- Serveis (API REST): integració síncrona entre dominis per a operacions que requereixen resposta immediata.
- ETL/ELT: processos de transformació i càrrega de dades orientats a l’àmbit analític i a l’EDSC. Les ETL han migrat a ELT amb totes les avantatges que representa en un model DataMesh.
Estratègia separació de recursos
Un principi fonamental de l’arquitectura és la separació estricta de recursos en funció de l’ús operacional (transaccional) o analítics. Les plataformes estan separades convenientment per evitar impactes no desitjats.
Els fluxos de dades sobre Kafka garanteixen que cap procés analític pugui interferir en la disponibilitat ni en el rendiment dels sistemes transaccionals dels dominis productors. Aquesta separació es materialitza en infraestructures desacoblades, de manera que l’explotació de dades per a anàlisi, reporting o processament avançat es produeix en àmbits totalment separats de l’operacional.
Estratègia connectors
A dia d’avui tots els connectors que s’utilitzin han de ser estàndards en mode UPSERT.
No tots els models de dades es poden replicar “as-is” amb connectors Confluent Kafka, i prèvia la petició de rèplica cal:
- Identificar si totes les taules tenen PK (en XStreams també s’accepten UNIQUE INDEXS). En cas negatiu cal modificar el model de dades per evitar problemes futurs.
- Realitzar un anàlisi previ de les dependències entre taules en la base de dades origen i destí. Si hi ha dependències condicionarà el paral·lelisme o creació de DLQ.
- Avaluar la tipologia de dades a transmetre. Els camps de dades ampliats poden condicionar l’arquitectura de confluent.
Espai de Dades de Salut de Catalunya
L’EDSC és on es centralitza tota la integració futura amb plataformes terceres i d’implementació de processament avançat de dades. El seu creixement és directament proporcional als casos d’ús que s’hi incorporen.
L’EDSC té la capa de stagging i disponibilització a Microsoft Fabric, des d’on es disponibilitzaran les dades en el format requerit (integració amb plataformes, quadres de comandaments, altres).
Plataformes
Per a les integració, disponibilització i tractament de les dades es disposa de les següents plataformes:
- EventHub: missatgeria entre aplicacions i rèplica de bases de dades
- Fabric: és la plataforma on s’ubica l’EDSC, teniont com a àrea de stagging el DataBricks
- OCI (Oracle Cloud Infrastructure): tecnologia multitenant dels nous sistemes Oracle de Salut
- Denodo: disponibilització desacoblada de les dades en mode API, integració o per a Quadres de Comandament