Hadoop

Definition: 

Apache Hadoop ist ein Java-entwickeltes Framework, das das Software-Rahmenkonzept ist, welches riesige Datenmengen verarbeitet. Hadoop ist das von Doug Cutting erstellte Tool und zum Top-Level-Projekt der Apache Software Foundation erklärt, die das Map-Reduce-Datenverarbeitungsmodell von Google implementiert und es ermöglicht, benutzerspezifische Code-Expansionsmodell auszuführen. Ein beispiel ist ein Unternehmens-Service wie Facebook und Yahoo.

Bestandteile:

• Hadoop Distributed File System: Das HDFS ist ein Hadoop Distributed File System, HDFS, und speichert große Datenmengen auf mehreren Computern. Es gibt Daten als Datenblöcke aus und speichert es redundant. Dies geschieht, um die Daten verfügbar zu halten, unterbrechungsfrei.

• Yet Another Ressource Negotiator: YARN verwaltet Cluster-Ressourcen und ermöglicht die Zuteilung von CPU.

• • MapReduce: Setzt das MapReduce-Programmiermodell für die verteilte Datenverarbeitung um. 
  Erweiterungen: 
  • Hive: Erweiterung, die Data-Warehouse-Funktionalitäten bietet, SQL-ähnliche Abfragen ermöglicht und Optimierungen für interaktive Abfragen unterstützt. 

• Pig: 
  • Ermöglicht die Erstellung von MapReduce-Programmen in Pig Latin, einer High-Level-Sprache für komplexe Datenanalysen.