Cookie Consent by Free Privacy Policy website Databricks introduce il Data Lineage per Unity Catalog
giugno 09, 2022 - Databricks

Databricks introduce il Data Lineage per Unity Catalog

Le nuove funzionalità di data lineage offrono ai clienti una maggiore trasparenza e un controllo proattivo sull'utilizzo dei dati nel loro lakehouse

Milano, 9 giugno 2022 - Databricks, società di Dati e AI pioniera del paradigma del data lakehouse, ha annunciato oggi il data lineage per Unity Catalog, potenziando significativamente le funzionalità di data governance nel lakehouse. Il data lineage definisce il modo in cui i dati circolano all'interno di un'organizzazione. Grazie a questa nuova funzionalità di Unity Catalog, i clienti sono in grado di ottenere visibilità sulla provenienza dei dati nel proprio lakehouse, su chi li ha prodotti e quando, chi li ha modificati nel tempo e utilizzati. Il data lineage per Unity Catalog è ora disponibile in anteprima su AWS e Microsoft Azure.

Le aziende gestiscono un volume di dati da più fonti e comprenderne la provenienza, il modo in cui si muovono e cambiano, chi vi ha accesso e come vengono utilizzati risulta particolarmente complesso. Tuttavia, è fondamentale per garantire la sicurezza e valutare il rischio. Con il data lineage per Unity Catalog, i data team possono vedere tutti i soggetti interessati dalle modifiche dei dati - applicazioni, dashboard, modelli di machine learning o set di dati, ecc. – comprendendo facilmente la portata del loro impatto, al fine di notificare rapidamente eventuali modifiche agli stakeholder interessati.

Il data lineage consente agli operatori dei dati, come data scientist, data engineer e data analysts, di comprendere il contesto in cui eseguono le analisi, producendo risultati di qualità superiore. Inoltre, i data steward possono individuare i set di dati a cui non è più possibile accedere o quelli obsoleti e provvedere alla loro eliminazione, riducendo così i rischi e assicurando che gli utenti finali utilizzino solo dati di elevata qualità. Le nuove funzionalità di Unity Catalog offrono alle aziende una visione completa dell'intero ciclo di vita dei dati, in modo che i data leader possano comprendere come vengono acquisiti, se sono aggiornati e i relativi processi utilizzati.

"Le potenzialità di governance, come il data lineage, sono fondamentali per la realizzazione della piattaforma lakehouse più solida del settore", ha dichiarato #mateizaharia, Co-Founder and Chief Technologist di #databricks. "In assenza di un buon data lineage, è difficile tracciare i processi di #business e di verifica di cui le organizzazioni data-driven devono disporre per avere successo. Il nostro obiettivo è garantire che i nostri clienti possano concentrarsi sugli insight e orientarsi verso pratiche proattive di gestione dei dati grazie a una visione unificata e trasparente del loro intero ecosistema di dati".

Le caratteristiche principali di Unity Catalog comprendono un automated run-time lineage che permette di acquisire tutto il lineage generato in #databricks, offrendo maggiore precisione ed efficienza rispetto al tagging manuale dei dati. Queste informazioni vengono acquisite per tabelle, viste e colonne per fornire un quadro dettagliato dei flussi di dati di upstream e downstream. Inoltre, il lineage opera su tutti i carichi di #lavoro supportati da #databricks, compresi SQL, Python, R e Scala, consentendo a tutte le data personas di arricchire i propri strumenti con data intelligence e insight ottimizzati. Ciò include l'acquisizione del lineage per notebook, flussi di #lavoro e dashboard.

Inoltre, il data lineage agevola le aziende nel rispetto degli standard di conformità, facilitando la tracciabilità dei flussi di dati soggetti a normative di conformità come il General Data Protection Regulation (GDPR), il California Consumer Privacy Act (CCPA) o l'Health Insurance Portability and Accountability Act (HIPAA). Questo elemento di tracciabilità dei dati è un aspetto essenziale di una moderna architettura dati che consente ai clienti di rispettare i vincoli legali.

Per ulteriori informazioni su come iniziare con la preview di data lineage in Unity Catalog, leggi il nostro post sul blog.

News correlate

marzo 21, 2024
febbraio 06, 2024
gennaio 12, 2024

Vertice tra Coldiretti e il Commissario Ue all'agricoltura Janusz Wojciechowski domani, giovedì 21 marzo, a Bruxelles nell'ambito ...

ono state annunciate oggi le 12 giovani imprese selezionate dalla terza edizione di I-Tech Innovation, la call lanciata da Fondazi...

I permessi per costruire abitazioni residenziali in rotta per un calo di circa il 30% nel 2023. Elevato rischio di crisi di liquid...