Analyse der Funktionen von Java und Map Reduce auf Hadoop

Hadoop, die Open-Source- und Java-basierte Implementierung des Map/Reduce-Frameworks der Apache Software Foundation, ist ein verteiltes Computing-Framework, das für datenintensive verteilte Anwendungen entwickelt wurde. Es bietet Tools für die Verarbeitung großer Datenmengen mithilfe des Map/Reduce-Frameworks und implementiert darüber hinaus ein verteiltes Dateisystem, das dem Dateisystem von Google ähnelt. Es kann verwendet werden, um große Datenmengen parallel auf großen Clustern auf zuverlässige und fehlertolerante Weise zu verarbeiten. Java wird seit langem von vielen Programmierern für die Datenverarbeitung verwendet. In diesem Buch haben wir die Leistung von Hadoop mit Java, Hadoop mit Hadoop Optimize und Hadoop Optimize mit Java anhand verschiedener Leistungskriterien wie Verarbeitung (CPU-Auslastung), Speicher und Effizienz bei der Datenverarbeitung verglichen und analysiert. Unsere Versuchsergebnisse zeigen eine Verbesserung der Ausführungszeit bei Verwendung des optimierten Map/Reduce-Algorithmus. Beim Vergleich von Hadoop und Java ist Hadoop besser, wenn wir einen Multi-Node-Cluster haben und die Datenmenge groß ist. Wenn wir jedoch einen einzelnen Node und eine kleine Datenmenge haben, kann sogar Java eine bessere Leistung erzielen.

Hersteller:	SIA OmniScriptum Publishing
Anschrift:	Brivibas gatve 197 LV-1039 Riga
Kontakt:	customerservice@vdm-vsg.de

Prof. Gurinder Pal Singh Gosal ist Fakultätsmitglied am Fachbereich Informatik der Punjabi University in Patiala. Er war außerdem Forschungswissenschaftler und GRA an der University of Georgia in Athens, USA. Frau Livjit Kaur war Forschungsstudentin am Fachbereich Informatik der Punjabi University in Patiala und arbeitet derzeit an der Panjab University in Chandigarh.