Reduzierte Big Data Kosten mit AWS Spot Instanzen

Wer sich heutzutage mit Big Data Themen kombiniert mit Amazon Web Services (AWS) beschäftigt, benötigt in der Regel schon ein eigenes kleines Wörterbuch für die ganzen Abkürzungen und Toolnamen aus beiden Welten. Ein weiteres Thema ist die eigene Problemstellung in dieser neuen Welt zu implementieren. Das sich dieser Weg durchaus auf verschiedenen Ebenen lohnt, möchte […]

Apache Kafka – im Detail (Teil 2)

Schaut man sich Kafka im Detail an, wird der Aufbau schnell komplex. Dort gibt es dann Broker, Partitionen, Replica, Leader, Follower und die aus Teil 1 schon bekannten Topics. Aber der Reihe nach: Kafka selbst läuft auf sogenannten Brokern, oft auch Nodes genannt, wobei ein Broker im Prinzip ein Kafka Server ist. Ab zwei oder […]

Die Lambda-Architektur in der Praxis

In der IT ist es kaum noch möglich, dem Word „Lambda“ zu entgehen: Die Lambda-Ausdrücke in Java 8, Amazons AWS Lambda für Cloud-Berechnungen und auch im Big-Data-Bereich ist die Lambda-Architektur ein zentrales Architektur-Pattern für datengetriebene Systeme. Was eine Lambda Architektur genau ist und vor allem mit welchen Tools aus dem Hadoop Ökosystem sie realisiert werden […]

High Availability und Big Data – Simples Einrichten einer hochverfügbaren HDFS Umgebung

  Hochverfügbarkeit ist ein unterschätztes und leider häufig vernachlässigtes Thema. Auch eine Big-Data-Distribution, in der per se eine Datenreplikation auf einzelne DataNodes eingeschaltet ist, sollte hier miteinbezogen und hochverfügbar konfiguriert werden. Es reicht nicht aus, nur die Replikation der DataNodes zu benutzen, sondern die High-Availability-Funktion kann zusätzlich aktiviert werden. Denn sollte der zentrale NameNode ausfallen, […]

Wie Ansible bei der Installation einer Big-Data-Distribution helfen kann? – Vorbereitungstasks einer Cloudera Installation

Ansible hat sich in den letzten Jahren zu einem einsteigerfreundlichen und wichtigen Tool der Automatisierung entwickelt. Durch die Einfachheit können tägliche, sich wiederholende Arbeiten simpel automatisiert werden. Durch die zunehmende Digitalisierung rückt auch Big Data immer mehr in den Vordergrund. Das Datenwachstum nimmt exponentiell zu. Traditionelle Datenbanklösungen reichen oft nicht mehr aus und neuere „Open […]

TDWI 2017 – Ein Erfahrungsbericht der OC Young Guns

Vom 26. bis 28.06.2017 war OPITZ CONSULTING mit einem starken Team auf der TDWI Konferenz in München vertreten. Die TDWI Konferenz ist ein Branchentreffpunkt der BI Community mit über 1200 BI-Experten, bei dem die meisten namenhaften Unternehmen der BI-Branche zusammenkommen, um Expertenwissen auszutauschen. Mit OC Beteiligung gab es drei spannende Vorträge zu folgenden Themen: Künstliche […]

How to “Apache Solr”: an Introduction to Apache Solr

Foreword: The information society has brought people a lot of information; on one side we enjoy endless information, on the other side we also feel a bit lost: how can we quickly and accurately filter the useful information from all the information the internet provides? The IT elites need to solve this problem urgently. The […]

Ein Reifegradmodell zur Einstufung eines DWH Deployments

Es gibt eine Vielzahl von Reifegradmodellen, die diverse Aspekte in der Entwicklung in Reifegrade unterteilen. Zum jetzigen Zeitpunkt exisitiert, jedoch kein Reifegradmodell, dass die Reife eines DWH Deployments bestimmt. Innerhalb meiner Bachelorthesis habe ich mich diesem Thema gewidmet und das Deployment eines DWH in Reifegrade unterteilt. Dabei habe ich mich ausschließlich auf ein agiles Deployment […]

„Digital Transformation – Behind the Scenes“ – Das war die inspire|IT 2017

Unter dem Motto „Digital Transformation  – Behind the Scenes“ fand vom 03. bis 04. April 2017 die 4. Ausgabe unserer Best-Practices-Konferenz inspire|IT in Frankfurt statt. Jetzt können wir wirklich schon von einer Tradition sprechen. Zwei Tage mit unterschiedlichen Tracks und Hands-on waren voll gepackt mit Informationen, Vorträgen und Demonstrationen und ganz vielen informativen Gesprächen. Zur […]