Die quantitative Explosion digitaler Daten hat die Forscher gezwungen, neue Sichtweisen und Analysemethoden für die Welt zu finden. Es geht darum, neue Größenordnungen für das Erfassen, Suchen, Teilen, Speichern, Analysieren und Präsentieren von Daten zu entdecken. So wurde die "Big Data" geboren. Dies ist ein Konzept zum Speichern einer unaussprechlichen Menge von Informationen auf digitaler Basis. Laut den Archiven der digitalen Bibliothek der Association for Computing Machinery (ACM) in wissenschaftlichen Artikeln über die technologischen Herausforderungen der Visualisierung "großer Datensätze" erschien dieser Name im Oktober 1997.
Was versteht man unter Big Data?
Wörtlich bedeuten diese Begriffe Big Data, Big Data oder Massendaten. Sie beziehen sich auf eine sehr große Datenmenge, die kein herkömmliches Datenbank- oder Informationsmanagement-Tool wirklich verwenden kann. Tatsächlich erzeugen wir jeden Tag etwa 2,5 Billionen Bytes an Daten. Dies sind Informationen von überall: von uns gesendete Nachrichten, von uns veröffentlichte Videos, Wetterinformationen, GPS-Signale, Transaktions-Onlineshopping-Aufzeichnungen und mehr. Diese Daten werden als Big Data oder massive Datenmengen bezeichnet. Die Giganten des Internets, in erster Linie Yahoo (aber auch Facebook und Google), haben diese Technologie als erste eingesetzt.
Es kann jedoch keine genaue oder universelle Definition für Big Data gegeben werden. Da es sich um ein komplexes polymorphes Objekt handelt, hängt seine Definition von den Communities ab, die als Benutzer oder Dienstleister daran interessiert sind. Ein transdisziplinärer Ansatz ermöglicht es, das Verhalten der verschiedenen Akteure zu verstehen: die Entwickler und Anbieter von Werkzeugen (die Informatiker), die Nutzerkategorien (Manager, Manager von Unternehmen, politische Entscheidungsträger, Forscher), die Akteure des Gesundheitswesens und Benutzer.
Big Data wird nicht aus den Regeln aller Technologien abgeleitet, sondern ist auch ein duales technisches System. Es bringt zwar Vorteile, kann aber auch Nachteile mit sich bringen. Somit dient es Spekulanten an den Finanzmärkten, autonom mit dem Schlüssel, der Konstitution von hypothetischen Blasen.
Die Ankunft von Big Data wird jetzt durch viele Artikel wie eine neue industrielle Revolution dargestellt, die der Entdeckung von Dampf (frühes 19. Jahrhundert), Elektrizität (spätes 19. Jahrhundert) und Informatik (spätes 20. Jahrhundert) ähnelt. ). Andere, etwas gemessener, beschreiben dieses Phänomen als die letzte Stufe der dritten industriellen Revolution, nämlich die der "Information". In jedem Fall gilt Big Data als eine Quelle tiefgreifender gesellschaftlicher Umbrüche.
Massendatenanalyse
Big Data wurde von den Giganten des Web erfunden und ist eine Lösung, mit der jeder auf Echtzeitdatenbanken zugreifen kann. Ziel ist es, eine Auswahl klassischer Datenbank- und Analyselösungen anzubieten (Business Intelligence in SQL Server ...).
Laut Gartner vereint dieses Konzept eine Reihe von Tools, die auf ein dreifaches Problem reagieren, das als 3V-Regel bezeichnet wird. Dazu gehören eine beträchtliche Menge zu verarbeitender Daten, eine Vielzahl von Informationen (aus verschiedenen Quellen, unstrukturiert, organisiert, offen ...) und eine bestimmte Geschwindigkeit, die erreicht werden muss, mit anderen Worten die Häufigkeit Erstellung, Erhebung und Weitergabe dieser Daten.
Die technologischen Entwicklungen hinter dem Big Data
Die technologischen Entwicklungen, die das Aufkommen und Wachstum des Big Datapeuvent ermöglicht haben, lassen sich grob in zwei Familien einteilen: Einerseits Speichertechnologien, die insbesondere durch den Einsatz von Cloud-Computing angetrieben werden. Auf der anderen Seite kamen maßgeschneiderte Verarbeitungstechnologien auf den Markt, insbesondere die Entwicklung neuer Datenbanken, die an unstrukturierte Daten angepasst sind (Hadoop), und die Entwicklung von Hochleistungsrechnermodi (MapReduce).
Es gibt verschiedene Lösungen, die zur Optimierung der Verarbeitungszeit auf riesigen Datenbanken eingesetzt werden können, nämlich die Datenbanken NoSQL (wie MongoDB, Cassandra oder Redis), die Serverinfrastrukturen für die Verteilung der Behandlungen auf die Knoten und die Speicherung von Daten im Speicher: Die erste Lösung ermöglicht die Implementierung von Speichersystemen, die für die Massendatenanalyse (schlüssel- / wertorientiert, dokument-, spalten- oder grafikorientiert) als effizienter gelten als das herkömmliche SQL.
Die zweite wird auch als massive Parallelverarbeitung bezeichnet. Das Hadoop Framework ist ein Beispiel. Es kombiniert das verteilte HDFS-Dateisystem, die NoSQL HBase-Datenbank und den MapReduce-Algorithmus. Bei der letzten Lösung wird die Verarbeitungszeit für Anforderungen beschleunigt.
Die 5 Elemente der Big Data
- Das Volumen
Das Volumen ist die Masse der pro Sekunde erzeugten Informationen. Studien zufolge wurde angenommen, dass 90% der Daten in den Jahren generiert wurden, als die Nutzung des Internets und der sozialen Netzwerke stark zunahm, um eine Vorstellung von der exponentiellen Zunahme der Datenmasse zu bekommen. Die Menge aller Daten, die seit Beginn der Zeit bis zum Ende des Jahres 2008 erstellt wurden, würde jetzt der Masse der Daten entsprechen, die jede Minute generiert werden. In der Geschäftswelt ist die Menge der täglich gesammelten Daten von entscheidender Bedeutung.
- Die Gewsschwindigkeit
Die Geschwindigkeit entspricht der Geschwindigkeit der Entwicklung und Bereitstellung neuer Daten. Wenn Sie beispielsweise Nachrichten in sozialen Netzwerken veröffentlichen, können diese "viral" werden und sich in kürzester Zeit verbreiten. Es ist eine Frage der Analyse der Daten im Verlauf ihrer Abstammung (manchmal als Analyse im Speicher bezeichnet), ohne dass es wesentlich ist, dass diese Informationen in einer Datenbank gespeichert werden.
- Die Vielfalt
Nur 20% der Daten sind strukturiert und in relationalen Datenbanktabellen gespeichert, die denen des verwalteten Rechnungswesens ähneln. Die restlichen 80% sind unstrukturiert. Dies können Bilder, Videos, Texte, Stimmen und vieles mehr sein. Mithilfe der Big-Data-Technologie können Sie Daten verschiedener Art analysieren, vergleichen, erkennen und kategorisieren, z. B. Konversationen oder Nachrichten in sozialen Netzwerken, Bilder auf verschiedenen Websites usw. Dies sind die verschiedenen Elemente, die die Vielfalt von Big Data ausmachen.
- Die Wahrhaftigkeit
Die Richtigkeit betrifft die Zuverlässigkeit und Glaubwürdigkeit der gesammelten Informationen. Da Big Data eine unbestimmte Anzahl und mehrere Arten von Daten erfassen kann, ist es schwierig, die Authentizität des Inhalts zu rechtfertigen, wenn wir den Twitter-Beitrag mit Abkürzungen, Umgangssprache, Hashtags, Muscheln usw. betrachten. Computergenies entwickeln jedoch neue Techniken, die die Verwaltung dieser Art von Daten, einschließlich des W3C, erleichtern.
- Der Wert
Der Wertbegriff ist der Gewinn, der aus der Nutzung von Big Data erzielt werden kann. Dies sind normalerweise die Unternehmen, die anfangen, unglaubliche Vorteile aus ihren Big Data zu ziehen. Laut Managern und Ökonomen drohen Unternehmen, die Big Data nicht ernst nehmen, bestraft und entlassen zu werden. Da das Tool vorhanden ist, würde die Nichtverwendung dazu führen, dass ein Wettbewerbsrecht verloren geht.
