Che cos’è la data lineage?
La data lineage collega un numero in una dashboard, a ritroso, a join, filtri, mappature e calcoli che lo hanno prodotto, fino ai sistemi di origine.
Si può pensare a una catena di custodia per i dati. Se un dato sui ricavi sembra sbagliato, la data lineage indica quale fonte lo ha alimentato, quale definizione lo ha calcolato e che cosa è cambiato di recente, così si può correggere la causa invece di discutere sul risultato.
Come funziona la data lineage?
La data lineage viene registrata mentre i dati attraversano una pipeline. Ogni passaggio registra i propri input, la logica applicata e i propri output. Collegate tra loro, queste registrazioni formano una mappa dalla fonte al report.
| Fase | Che cosa registra la data lineage | Esempio |
|---|---|---|
| Fonte | Da quale sistema e account provengono i dati | Spesa su una piattaforma pubblicitaria per un account |
| Acquisizione | Quando sono arrivati i dati e in quale forma | Caricamento giornaliero, con i nomi dei campi usati dalla piattaforma |
| Trasformazione | Join, mappature e regole di pulizia applicate | Nomi delle campagne della piattaforma mappati su una categoria di business |
| Definizione | Come è stata calcolata la metrica | ROAS come ricavi al netto dei resi diviso per la spesa |
| Utilizzo | Quali report, strumenti e agenti li usano | Una dashboard per il management e una risposta dell’IA |
Qual è un esempio di data lineage?
Ricostruire un numero che è cambiato
Un report settimanale mostra che il costo per acquisizione è aumentato del 18% da un giorno all’altro. Prima che qualcuno modifichi una campagna, un analista segue la data lineage della metrica.
La ricostruzione mostra che una piattaforma pubblicitaria ha rinominato un campo di conversione, quindi le conversioni di quella piattaforma non venivano più mappate nel totale. La correzione è un aggiornamento della mappatura, non un intervento sui media, e richiede minuti invece di giorni.
Data lineage vs. data provenance vs. data catalog
Questi termini sono collegati e spesso usati insieme, ma ognuno risponde a una domanda diversa.
| Data lineage | Data provenance | Data catalog | |
|---|---|---|---|
| Domanda a cui risponde | Come sono arrivati qui questi dati e che cosa li ha modificati? | Da dove provengono originariamente questi dati? | Quali dati abbiamo e che cosa significano? |
| Ambito | L’intero percorso e ogni trasformazione | L’origine e la storia di un record | Un inventario con descrizioni |
| Uso tipico | Debugging, analisi d’impatto, audit | Compliance e affidabilità delle fonti | Individuazione e documentazione |
Perché la data lineage è importante per il reporting e l’IA?
Ogni report, piano e risposta dell’IA eredita tutto ciò che è accaduto ai dati sottostanti. Senza data lineage, verificare un numero significa ricostruirne la storia a mano, e i piccoli errori si diffondono silenziosamente in tutto ciò che vi è costruito sopra.
- Debugging più rapido. I team trovano la causa di un numero sbagliato invece di tirare a indovinare.
- Analisi d’impatto. Prima di modificare una definizione, è possibile vedere ogni report e strumento interessato.
- Audit superabili. I team finance, legale e security possono vedere come è stato prodotto un numero.
- Risposte dell’IA verificabili. Se una risposta dell’IA sembra strana, il team può ricondurla ai dati di origine e alla definizione usata.
Come lo fa Alli?
Alli mantiene la propria base dati deterministica e tracciabile. Alli Datasources porta i dati in Alli tramite un’acquisizione governata, e Alli Semantic Layer modella il modo in cui le tabelle di performance si collegano a campagne, annunci, account e calendari, definisce ogni KPI una sola volta e mappa le nomenclature delle piattaforme tramite Categorizations. Le definizioni sono sotto controllo di versione e le modifiche vengono distribuite tramite workflow controllati.
Poiché ogni dashboard, vista di Data Explorer, risposta di Ask Alli e alert legge da quelle stesse definizioni, ogni numero in Alli è riconducibile a una fonte definita.
Esplorate Alli Semantic LayerDomande frequenti sulla data lineage
Che cos’è la data lineage, in parole semplici?
È la storia di un dato: da dove proviene, dove è andato e che cosa gli è stato fatto lungo il percorso, così ogni numero può essere ricondotto alla sua fonte.
Qual è la differenza tra data lineage e data provenance?
La data provenance si concentra sull’origine dei dati. La data lineage copre l’intero percorso, inclusi ogni sistema attraversato e ogni trasformazione applicata.
Perché la data lineage è importante per l’IA?
Gli strumenti di IA rispondono a partire dai dati e dalle definizioni sottostanti. La data lineage permette ai team di verificare una risposta dell’IA rispetto alla sua fonte e di trovarne la causa quando una risposta sembra sbagliata.
Come si mantiene la data lineage?
Conservando la logica di trasformazione e le definizioni in sistemi governati e sotto controllo di versione anziché in fogli di calcolo sparsi, e registrando ogni passaggio mentre i dati vanno dalla fonte al report.
Ultimo aggiornamento: Torna al glossario