MapReduce

MapReduce ist ein Programmiermodell, das Google für paralleles Computing über große Datenmengen in Computerclustern zur Verfügung gestellt wurde und auch der Name der Implementierung des Programmiermodells als Softwarebibliothek. Es selbst hat Daten, die in drei Phasen verarbeitet werden: Map, Shuffle, Reduce.

Parallelisierung ist für sehr große Datenmengen erforderlich, da sie für einen Prozess zu groß sein können, der Computersysteme ausführt, und das Programmiermodell inhaliert auf die Funktionen Map und Reduce, da häufig funktionelle Programmierung verwendet wird. MapReduce wurde 2010 in den USA patentiert und sein Hauptmitwirkender war ein System, das sehr berechenbar ist, die Datenreorganisation im Shuffle-Stadium optimiert und auch automatisch auf Klassenfehler wie die Ablehnung von kompletten Nodes reagiert. Und der Arbeitsprozess selbst ist Eingabedaten, wobei er unter den Prozessen verteilt wird, die die Kartenfunktionen für die Benutzer berechnen. Die Zwischenergebnisse werden entsprechend den von der Map-Funktion erstellten Ausgabeschlüsseln neu verteilt. Für jeden Satz von Zwischenergebnissen gibt es genau einen Reduce-Prozess, der die von der Explorer-Funktion des Benutzers bereitgestellten Ausgabedaten berechnet.