Anche Azure punta su Spark con Spark for HDInsight

CloudPaas

Spark for HDInsight è una implementazione in cloud di Spark connessa a vari altri moduli di Microsoft Azure e a strumenti aggiuntivi per sviluppatori e data scientist

Dopo una fase di anteprima pubblica Microsoft ha reso disponibile al pubblico Spark for HDInsight, che è in sintesi una implementazione di Apache Spark sulla piattaforma Azure HDInsight. La casa di Redmond spiega che la Preview ha avuto un notevole successo, tanto che Spark ora è collegato alla metà circa dei nuovi cluster di HDInsight, e ha consentito di sviluppare alcuni miglioramenti al servizio con l’obiettivo di renderlo adatto all’utilizzo da parte delle grandi imprese e di varie figure professionali.

Nell’ecosistema del cloud Microsoft Spark fa parte di Azure HDInsight, un ambiente cloud che esegue la Hortonworks Data Platform per creare una infrastruttura Hadoop. In quest’ambito Spark copre la parte dell’elaborazione in-memory e Microsoft punta sui classici vantaggi delle implementazioni in cloud offerte come servizio: la gestione della piattaforma è a cura di Azure e l’utente non si deve occupare di alcuna questione infrastrutturale.

azure-sparkDurante la fase di Preview, spiega Microsoft, si è lavorato su vari aspetti importanti per il successo del servizio finale. Uno di questi è la disponibilità del servizio: grazie anche a una collaborazione tecnologica con Cloudera e Hortonworks, Spark for HDInsight ha una availability garantita del 99,9 percento.

Un altro aspetto importante è l’integrazione con Azure Data Lake Store, elemento che permette secondo Microsoft di gestire con Spark dati di qualsiasi genere e anche con caricamenti ad alta velocità senza dover apportare modifiche alle proprie applicazioni.

Sempre in quanto a integrazioni si segnala il collegamento di Spark for HDInsight con alcuni tool potenzialmente utili per varie figure che si occupano di analytics. Per i data engineer c’è l’ambiente di sviluppo IntelliJ con il supporto per i linguaggi Scala e Java, i data scientist hanno a disposizione i notebook Jupyter e i business analyst possono integrare l’ambiente Spark con alcuni tool esterni come Power BI, Tableau, SAP Lumira e QlikView.

Read also :
Autore: Silicon
Clicca per leggere la biografia dell'autore  Clicca per nascondere la biografia dell'autore