ContacteÚs de Connectors a EventHub
Navegació
| ⬅️ Seguretat a EventHub | ➡️ Ús de Stream Processing |
|---|
Ús de Connectors a EventHub
Canigó – Guia per a aplicacions
Aquesta pàgina explica què ha de fer una aplicació per sol·licitar, modificar o retirar un Connector (Kafka Connect) a EventHub.
1. Quan necessites un Connector?
Necessites un connector si:
- Vols integrar Kafka amb un sistema extern.
- Necessites extreure dades d’un sistema origen (Source).
- Necessites carregar dades a un sistema destí (Sink).
❌ No utilitzis connectors si:
- La integració es pot resoldre dins de la pròpia aplicació.
- No existeix un sistema extern clarament identificat.
- L’ús és exploratori en PRE o PRO.
2. Tipus de Connectors
A EventHub els connectors són de dos tipus:
- Source: extreuen dades cap a Kafka.
- Sink: escriuen dades des de Kafka.
Si el connector captura canvis en temps real (ex: Debezium), cal marcar Es_CDC = SI a la fitxa. No existeix un tipus “CDC” com a tal: és un Source amb captura de canvis.
Exemples comuns:
- JDBC Source / Sink
- Debezium (Source + CDC)
- Mongo Source / Sink
- HTTP Sink
- Oracle CDC Source (Confluent)
3. Requisits previs per a OracleCDC
Si el connector és un Oracle CDC Source (captura de canvis des d’Oracle via LogMiner), cal complir requisits addicionals abans de sol·licitar el connector:
Comprovació de performance de la BBDD
- Sol·licitar a l’equip de BBDD que executi una anàlisi de performance de la base de dades Oracle que serà l’origen del CDC.
- L’anàlisi ha d’incloure:
- Capacitat del redo log i freqüència de rotació.
- Volum de canvis per hora/dia a les taules implicades.
- Capacitat de LogMiner per processar el volum esperat.
- Duració màxima de les transaccions.
- Amb els resultats, l’Oficina EventHub pot obrir un tiquet a Confluent per obtenir una recomanació de configuració del connector adaptada a la BBDD concreta.
Informació necessària a la fitxa
A més dels camps estàndard del connector, per a OracleCDC cal indicar:
- Taules implicades (regex d’inclusió).
- Volumetria diària esperada.
- Pics esperats i quan es produeixen.
- Duració màxima de transaccions.
- Si es requereix snapshot inicial.
Consideracions operatives
- El redo log d’Oracle ha de tenir capacitat suficient per cobrir el temps de processat del connector. Si els logs roten abans que el connector els llegeixi, es produeix pèrdua d’offset (error ORA-01291). Consulteu la guia de troubleshooting per a la resolució.
- Les transaccions molt llargues (long-running transactions) poden afectar el rendiment del connector i el consum de memòria de Connect.
- L’Oficina EventHub pot sol·licitar ajustos de configuració basats en les recomanacions de Confluent.
4. Alta d’un Connector: què has de fer
Pas 0. Recollir les dades de xarxa de la BBDD (obligatori)
Abans d’omplir la plantilla, cal disposar de les dades de xarxa de la base de dades origen o destí del connector. Aquestes dades són imprescindibles per sol·licitar les regles de firewall que permetran la comunicació entre la plataforma EventHub i la BBDD.
| Dada necessària | Descripció | Exemple |
|---|---|---|
| IP(s) del servidor de BBDD | IP o rang d’IPs del servidor origen/destí | 10.10.1.45 |
| Port de connexió | Port TCP que utilitza la BBDD | 1521 (Oracle), 5432 (PostgreSQL) |
| Protocol | Sempre TCP | TCP |
| Entorn | INT / PRE / PRO | PRO |
⚠️ Sense aquestes dades no es pot tramitar l’alta del connector. La sol·licitud quedarà bloquejada fins que l’equip proporcioni la informació de xarxa necessària per gestionar les regles de firewall.
On indicar-les:
- A la pestanya Solicitud_Connector de la plantilla Excel, al camp
IP_BBDD_Origen_Destino. - Al tiquet JIRA, si la plantilla no disposa del camp.
Pas 1. Omplir la plantilla de sol·licitud (obligatori)
- Plantilla oficial: Plantillas_Solicitud_EventHub
- Primer, omplir la pestanya Datos_Proyecto (si no s’ha fet ja).
- Després, una fila per connector a la pestanya Solicitud_Connector.
Camps que ha d’omplir l’aplicació:
| Camp | Descripció |
|---|---|
| Entorno | INT / PRE / PRO |
| Nombre_Connector | Nom descriptiu del connector |
| Tipo | Source o Sink (únicament) |
| Es_CDC | SI / NO — indica si és captura de canvis (ex: Debezium, OracleCDC) |
| Sistema_Origen | Sistema d’on s’extreuen les dades |
| Sistema_Destino | Sistema on s’escriuen les dades |
| Snapshot_Propuesto | SI / NO — si es necessita càrrega inicial |
| Retries_Propuestos | Nombre de reintents proposats |
| DLQ_Propuesta | SI / NO — si es necessita Dead Letter Queue |
| Volumen_Estimado_MBs | Throughput estimat en MB/s |
| Tamano_Medio_Msg_Bytes | Mida mitjana del missatge en bytes |
| Criticidad | Alta / Media / Baja |
| Frecuencia | Freqüència d’execució (ex: Continu, Batch diari) |
Camps automàtics (no modificar):
| Camp | Origen |
|---|---|
| Codigo_Aplicacion, Nombre_Aplicacion, JIRA_ID, Owner_Funcional, Owner_Tecnico | Heredats de Datos_Proyecto |
Sense la fitxa correctament omplerta no es valida la sol·licitud.
Pas 2. Obrir la sol·licitud
- Crear tiquet JIRA ACOEVENT.
- Adjuntar la fitxa omplerta.
- Per a OracleCDC: adjuntar també els resultats de l’anàlisi de performance de la BBDD.
- Adjuntar configuració proposada si aplica (JSON).
Pas 3. Validació
L’Oficina EventHub valida:
- Cas d’ús del connector.
- Ús de connector suportat o certificat.
- Dimensionament raonable.
- Gestió d’errors i reintents.
- Impacte operatiu i riscos.
- Per a OracleCDC: resultats de performance i recomanació de Confluent.
Resultat:
- ✅ Aprovat → es desplega el connector.
- 🔄 Retornat → cal ajustar la proposta.
Pas 4. Desplegament del connector
- INT: desplegament controlat sense CRQ.
- PRE / PRO: desplegament mitjançant CRQ quan apliqui.
5. Què decideix la plataforma (no l’aplicació)
La plataforma defineix:
- Configuració tècnica final del connector.
- Recursos assignats.
- Estratègia d’errors.
- Necessitat de CRQ i finestra de desplegament.
- Ús de DLQ quan sigui adequat.
6. Revisió tècnica automàtica
La plantilla marca automàticament com a “Revisió tècnica requerida” si:
- Es_CDC = SI
- Criticidad = Alta
7. Canvis sobre un Connector
Es consideren canvis:
- Modificar la configuració (propietats, taules, filtres).
- Canviar snapshot o DLQ.
- Canviar volum o freqüència.
- Canviar sistema origen o destí.
Què cal fer:
- Actualitzar la fitxa.
- Obrir tiquet JIRA.
- Tramitar CRQ si aplica (obligatòria en PRE/PRO).
⚠️ Quan sol·liciteu un canvi de propietats, heu de proporcionar la propietat completa amb el valor exacte, no només la descripció del canvi.
8. Retirada d’un Connector
- Confirmació formal de no ús.
- Avaluació d’impacte.
- Aturada i eliminació controlada.
- CRQ en PRO quan apliqui.
9. Errors habituals (evita’ls)
- Marcar un connector com a CDC sense necessitat real.
- Sol·licitar un OracleCDC sense anàlisi prèvia de performance de la BBDD.
- No proporcionar les IPs de la BBDD origen/destí per a les regles de firewall.
- Sobredimensionar connectors.
- Connectar un connector a múltiples sistemes.
- No avaluar l’impacte operatiu.
- Desplegar canvis sense validació prèvia.
10. Documentació de referència
- Plantillas_Solicitud_EventHub
- Troubleshooting de Connectors
- Estàndards i validació
- Configuració OracleCDC (Confluent)