Apache Hadoop - Download

Il mese scorso ero immerso in un progetto di analisi dei dati, cercando di elaborare i log da un'app Web che generava oltre 10 milioni di righe al giorno. Il mio portatile si è bloccato dopo 20 minuti e si è schiantato. È stato allora che mi sono ricordato di Apache Hadoop - Download per Windows. Non era la mia prima scelta, avevo sentito dire che era una bestia da configurare, ma ho pensato che, se Google lo avesse utilizzato, forse sarebbe riuscito a gestire ciò che la mia macchina non era in grado di gestire.

La roba buona

Una volta superata la configurazione iniziale, ha funzionato come per magia. Ho diviso i dati su tre VM locali (sì, lo so, non su scala cloud, ma era tutto ciò che avevo) e Hadoop ha gestito la distribuzione come se niente fosse. Il modo in cui suddivide le attività e le coordina tra i nodi? Liscio. Ho eseguito un semplice conteggio delle parole su un file di registro da 5 GB in meno di cinque minuti; il mio vecchio script impiegava più di un'ora. Il componente di archiviazione (HDFS) ha mantenuto le cose organizzate e il motore di elaborazione (MapReduce) non si è lamentato nemmeno una volta. Onestamente, vedere come gestiva automaticamente la comunicazione tra le macchine mi ha fatto sentire come se stessi sbirciando dietro il sipario della grande tecnologia.

Il non-così-buono

Ma wow, la curva di apprendimento è reale. I documenti sono scarsi, soprattutto per gli utenti Windows. Non esiste una procedura guidata di installazione o una configurazione guidata: ti vengono semplicemente consegnati i file di configurazione e ti viene detto "buona fortuna". Ho trascorso due giorni alle prese con variabili ambientali e conflitti tra porte. E non farmi iniziare con il debug degli errori; i registri sono criptici a meno che tu non li abbia visti prima. Inoltre, non è progettato per un uso interattivo. Se ti aspetti qualcosa come i quaderni Jupyter fuori dagli schemi, rimarrai deluso. Questo non è uno strumento per l'elaborazione casuale dei dati: è per le persone che vogliono comprendere i sistemi distribuiti a basso livello.

In conclusione

Se sei seriamente intenzionato a lavorare con set di dati di grandi dimensioni e vuoi sapere come funziona la vera infrastruttura per big data, Apache Hadoop - Download per Windows vale la pena. È gratuito, è provato ed è scalabile. Ma se stai solo cercando di pulire alcuni CSV o di eseguire una tabella pivot rapida, saltalo. Stai meglio con qualcosa di più semplice. Questo è per gli sviluppatori a cui piace rimboccarsi le maniche e costruire cose da zero.