Unity Catalog

Il 17 aprile sono salito sul palco del Global Azure Veneto con un caro amico. Ci unisce la passione per quello che facciamo e per la tecnologia che usiamo ogni giorno: lui è un Chief Network Architect, io sono un Data Solution Architect. Competenze diverse, spesso vissute in reparti separati che faticano a parlarsi. È esattamente questa separazione il motivo per cui abbiamo costruito questa sessione insieme. Troppo spesso chi progetta architetture dati non conosce l’infrastruttura di rete su cui girano, e chi progetta l’infrastruttura non ha piena consapevolezza delle esigenze di una piattaforma dati enterprise. Il risultato lo vediamo nei progetti: decisioni di rete prese senza considerare il pattern serverless, o architetture dati progettate senza sapere come funziona il Private Endpoint di Databricks. Ognuno ottimizza il suo pezzo, il sistema nel suo insieme resta fragile. ...

Gestire la governance dei dati su una piattaforma distribuita, con centinaia di tabelle e diversi team, non è mai stato semplice. Chi lavora su Azure Databricks conosce bene il problema: i tag vengono applicati in modo inconsistente, le policy di accesso si moltiplicano per ogni workspace, e garantire la conformità GDPR su dati sensibili diventa un lavoro manuale e soggetto a errori. Ho testato alle nuove funzionalità Governed Tags e ABAC Policy di Azure Databricks Unity Catalog nelle ultime settimane. La mia conclusione è netta: portano un valore enorme alla piattaforma e rappresentano un salto qualitativo significativo nella maturità della governance Databricks. ...