Integrare Qlik con un lakehouse lascia aperta una decisione progettuale importante: dove deve risiedere ogni trasformazione? Spostare tutte le regole a monte può rendere un’applicazione analitica dipendente dai rilasci del team di ingegneria condiviso. Lasciarle tutte nell’applicazione può costringere altri utilizzatori a ricostruire lo stesso lavoro di preparazione.
Il confine utile non è tra “lakehouse e Qlik”, ma tra il lavoro da riutilizzare e quello che appartiene a una specifica esperienza analitica. Collocate le trasformazioni in base a chi le utilizza, al responsabile, ai requisiti di esecuzione e alla frequenza di modifica prevista. Questo criterio permette di decidere cosa centralizzare senza attribuire al lakehouse la responsabilità di ogni dettaglio delle dashboard.
Separate le responsabilità prima di scegliere la collocazione
La presentazione di IBM Cloud e Dremio distingue esplicitamente le responsabilità architetturali: i motori di IBM Cloud gestiscono l’acquisizione e la preparazione, mentre Dremio Sonar provvede alla cura semantica e alla fruizione interattiva dei dati. Per un’architettura Qlik, l’idea utile è separare le responsabilità, non replicare l’assegnazione dei compiti a quei prodotti.
Classificate la logica da esaminare secondo queste responsabilità:
- Preparazione dei dati riutilizzabile. La pulizia degli identificativi delle transazioni, la risoluzione dei duplicati e la standardizzazione dei valori sorgente devono produrre dati in ingresso affidabili per tutti gli utilizzatori previsti. Preferite un’implementazione condivisa a monte quando questi utilizzatori richiedono la stessa correzione.
- Definizioni di business condivise. Regole come gli stati delle transazioni ammessi in una misura gestionale richiedono un significato concordato e un responsabile dell’approvazione. Implementatele dove gli utilizzatori interessati possano realmente riutilizzarle.
- Modellazione specifica per Qlik. Tenete l’organizzazione di campi, relazioni e raggruppamenti analitici necessari solo a una particolare applicazione separata dal contratto del dataset condiviso. Non imponete a tutti gli utilizzatori il modello preferito da un’applicazione.
- Calcoli di presentazione. Distinguete una regola di business da un calcolo il cui significato dipende dall’analisi visualizzata, come una quota della popolazione messa a confronto. Definite il contesto desiderato prima di decidere se preparare un valore a monte o calcolarlo nell’esperienza analitica.
Queste categorie descrivono responsabilità, non livelli fisici obbligatori. Una definizione di business condivisa non richiede automaticamente una nuova piattaforma. Come spiega la valutazione di un livello semantico condiviso, l’implementazione ripetuta di una logica concordata è un motivo per valutare un’infrastruttura condivisa; quell’infrastruttura non può stabilire il significato della misura né correggere i dati che la alimentano.
C’è spazio anche per una modellazione specifica per gli utilizzatori al di fuori dell’applicazione BI. La documentazione sul livello semantico di Dremio descrive viste del livello Application costruite sulle viste condivise del livello Business, che analisti o data scientist modificano per le proprie dashboard. Questo illustra una distinzione importante: assegnare la responsabilità a una specifica applicazione non significa necessariamente eseguire fisicamente la trasformazione dentro Qlik.
Pulizia condivisa a monte e domande locali nell’applicazione
Consideriamo, a titolo di esempio, un’applicazione di analisi delle vendite che utilizza transazioni provenienti da un lakehouse esistente. Anche la reportistica finanziaria e un flusso separato di previsione utilizzano quelle transazioni.
Progettate la pipeline di preparazione condivisa per standardizzare gli identificativi delle transazioni, interpretare i formati delle date sorgente e applicare una regola concordata di risoluzione dei duplicati. Pubblicate il dataset risultante dichiarandone chiaramente la granularità, per esempio una riga di transazione, e conservate riferimenti sufficienti alla sorgente per indagare su un record contestato. Queste correzioni vanno collocate a monte perché gli utilizzatori hanno bisogno delle stesse transazioni di base, non di interpretazioni separate dei difetti della sorgente.
Supponiamo ora che l’applicazione Qlik debba raggruppare i prodotti in “priorità di lancio”, “gamma consolidata” e “candidati alla revisione” per una specifica attività di pianificazione delle vendite. Mantenete il raggruppamento sotto il controllo del responsabile dell’applicazione se riguarda solo quell’attività. Documentate i criteri di assegnazione dei prodotti ai gruppi, senza trasformare implicitamente un raggruppamento analitico temporaneo nella classificazione aziendale dei prodotti.
Il vantaggio per la manutenzione deriva da ciò che ogni team può modificare in autonomia. La revisione di un gruppo di pianificazione non dovrebbe richiedere di ripubblicare il dataset condiviso delle transazioni. Viceversa, correggere transazioni duplicate non dovrebbe richiedere di individuare e riparare una regola di pulizia distinta in ogni applicazione che le utilizza.
Il confine deve cambiare quando cambia il riutilizzo. Se in seguito anche previsione e finanza adottano lo stesso raggruppamento, valutate un’implementazione condivisa con un responsabile di business. Rendete condivisa la regola in modo deliberato, quindi dismettete le implementazioni locali sostituite. Copiarla a monte mantenendo versioni locali gestite indipendentemente lascia intatta la duplicazione.
Distinguete inoltre un raggruppamento stabile da un calcolo che dipende dal confronto. La categoria di pianificazione di un prodotto può essere definita indipendentemente da un grafico. La sua quota sulle vendite attualmente confrontate richiede invece un denominatore e un contesto di confronto espliciti. Preparare a monte una quota fissa risponderebbe a una domanda diversa se cambiasse il confronto desiderato.
Scegliete dove eseguire la logica e chi ne è responsabile
Nel confrontare lo script di caricamento Qlik con l’ETL a monte, decidete sia chi mantiene la regola sia dove viene eseguita. Sono decisioni correlate, ma non intercambiabili. Una regola assegnata al team di analisi potrebbe comunque essere gestita come vista specifica nella piattaforma sorgente. Una pipeline condivisa potrebbe essere mantenuta da un team separato di data engineering.
Qlik Talend Data Integration offre un’opzione documentata per operare a monte: trasformazioni riutilizzabili basate su regole e SQL personalizzato, con dataset materializzati come tabelle oppure rappresentati da viste che trasformano i dati al momento della richiesta. Può inoltre registrare dati già presenti su una piattaforma, compresi quelli acquisiti con altri strumenti. Queste sono funzionalità delle pipeline di integrazione dati, distinte dalla progettazione delle trasformazioni di un’applicazione analitica.
Prima di scegliere un’implementazione, definite le condizioni di esecuzione:
- Identificate l’ambiente Qlik effettivamente in uso, il connettore e la modalità di fruizione. Confermate dove verrà eseguita ogni operazione, senza presumere che una logica definita vicino a una connessione venga eseguita nella sorgente.
- Per una tabella o una vista, decidete se agli utilizzatori serve un risultato già preparato oppure una trasformazione al momento della query. Considerate anche il carico di lavoro e i vincoli di accesso della piattaforma sorgente.
- Per le elaborazioni nell’applicazione, verificate le operazioni supportate e i limiti di esecuzione del prodotto distribuito prima di scegliere i meccanismi dello script.
- Controllate che il percorso scelto conservi il dettaglio e il contesto di confronto richiesti dalle analisi a valle.
Tenete separati i criteri di accettazione sull’aggiornamento dei dati dalla collocazione delle trasformazioni. Chiedete quando una regola modificata e i dati risultanti diventeranno visibili agli utenti, non soltanto dove è memorizzato il codice. La questione end-to-end rientra nella valutazione dell’aggiornamento dei dati nelle dashboard Qlik; l’assegnazione delle responsabilità sulle trasformazioni deve specificare chi coordina questo passaggio.
Rendete il confine sostenibile nella manutenzione
Centralizzare una regola è utile solo se chi la utilizza può accedere al risultato e ottenere modifiche attraverso un processo praticabile. Se il team a monte non è accessibile, il team applicativo potrebbe ricostruire la regola localmente. L’architettura avrebbe così una definizione condivisa nominale e un’implementazione operativa separata.
Il problema opposto è un accoppiamento eccessivo. Se ogni raggruppamento applicativo diventa una colonna obbligatoria del modello condiviso delle transazioni, una modifica analitica locale diventa un problema di rilascio condiviso. Preservate un dataset preparato stabile, offrendo al contempo ai responsabili delle applicazioni uno spazio controllato per il lavoro specifico dei rispettivi utilizzatori.
Per ogni trasformazione, documentate finalità, dati in ingresso, granularità dell’output, responsabile della manutenzione, responsabile dell’approvazione e utilizzatori noti. Indicate quali modifiche richiedono una validazione a valle. Affiancate a questa documentazione gli strumenti di data lineage disponibili e verificatene la copertura lungo la pipeline e attraverso il confine applicativo effettivo, senza presumere che ogni dipendenza venga rilevata.
Verificate le modifiche sui singoli record oltre che sui totali. Nell’esempio delle transazioni, includete possibili duplicati, identificativi mancanti e prodotti il cui raggruppamento cambia. Una correzione della pulizia dei dati deve essere validata dagli utilizzatori del dataset condiviso. Una modifica ai gruppi di pianificazione deve essere validata rispetto allo scopo analitico dell’applicazione.
L’obiettivo è un confine che renda riutilizzabili le correzioni condivise e indipendenti le modifiche locali. Se questo confine non è chiaro nel vostro ambiente, lavorate con specialisti di analisi Qlik per mappare le trasformazioni e chi le utilizza prima di decidere cosa spostare. La migrazione deve seguire la responsabilità che volete stabilire, non diventarne il motivo.