TDWI Young Guns Barcamp @Hamburg

Am 27.10.2017 fand in der Superbude in St. Pauli / Hamburg das Business-Intelligence-Barcamp, organisiert vom TDWI, statt. Das lockere Treffen in einer sehr coolen Location wurde extra für die „Young Guns“ ausgerichtet. Somit waren vor allem Studenten, Berufseinsteiger, Young Professionals oder erfahrene BI-Experten in Begleitung eines Juniors anwesend.  Der Sinn dahinter ist, dass der jüngeren […]

Innovation im Mittelstand

Ein Kunde der im Bau von Maschinen und Bearbeitungslinien zur Fischverbeitung in Deutschland tätig ist, möchte nicht nur seinen Fertigungsprozess effizienter gestalten, sondern auch eine innovative und smarte Steuerung für seine Maschinen entwickeln. Das Unternehmen hat erkannt, dass für den Wirtschaftsstandort Deutschland die Unternehmensstrategie angepasst werden muss, um die Marktposition ausbauen zu können und als […]

AWS News KW 38 – 43

Da ich die letzten Wochen Urlaub hatte, gab es keine Zusammenfassung der AWS News. Während meines Urlaubs war ich auch in Seattle und entdeckte durch Zufall das das Hotel nur eine Straße vom Amazon HQ entfernt war. Die Kugeln sind nicht das HQ sondern nur zukünftige Meetingräume. Das Gebäude links davon ist das HQ. Schön […]

Sequences and Flow Control in Oracle Data Integrator

Most developers that start working with Oracle Data Integrator (ODI) and create their first mappings will stumble upon an error message like this pretty early in their ODI career: In this blog post, I will first recreate this error with ODI 12.2.1.2.6 and then show what you can do about it. For understanding this post, you […]

Reduzierte Big Data Kosten mit AWS Spot Instanzen

Wer sich heutzutage mit Big Data Themen kombiniert mit Amazon Web Services (AWS) beschäftigt, benötigt in der Regel schon ein eigenes kleines Wörterbuch für die ganzen Abkürzungen und Toolnamen aus beiden Welten. Ein weiteres Thema ist die eigene Problemstellung in dieser neuen Welt zu implementieren. Das sich dieser Weg durchaus auf verschiedenen Ebenen lohnt, möchte […]

Apache Kafka – im Detail (Teil 2)

Schaut man sich Kafka im Detail an, wird der Aufbau schnell komplex. Dort gibt es dann Broker, Partitionen, Replica, Leader, Follower und die aus Teil 1 schon bekannten Topics. Aber der Reihe nach: Kafka selbst läuft auf sogenannten Brokern, oft auch Nodes genannt, wobei ein Broker im Prinzip ein Kafka Server ist. Ab zwei oder […]

Die Lambda-Architektur in der Praxis

In der IT ist es kaum noch möglich, dem Word „Lambda“ zu entgehen: Die Lambda-Ausdrücke in Java 8, Amazons AWS Lambda für Cloud-Berechnungen und auch im Big-Data-Bereich ist die Lambda-Architektur ein zentrales Architektur-Pattern für datengetriebene Systeme. Was eine Lambda Architektur genau ist und vor allem mit welchen Tools aus dem Hadoop Ökosystem sie realisiert werden […]

High Availability und Big Data – Simples Einrichten einer hochverfügbaren HDFS Umgebung

  Hochverfügbarkeit ist ein unterschätztes und leider häufig vernachlässigtes Thema. Auch eine Big-Data-Distribution, in der per se eine Datenreplikation auf einzelne DataNodes eingeschaltet ist, sollte hier miteinbezogen und hochverfügbar konfiguriert werden. Es reicht nicht aus, nur die Replikation der DataNodes zu benutzen, sondern die High-Availability-Funktion kann zusätzlich aktiviert werden. Denn sollte der zentrale NameNode ausfallen, […]

Wie Ansible bei der Installation einer Big-Data-Distribution helfen kann? – Vorbereitungstasks einer Cloudera Installation

Ansible hat sich in den letzten Jahren zu einem einsteigerfreundlichen und wichtigen Tool der Automatisierung entwickelt. Durch die Einfachheit können tägliche, sich wiederholende Arbeiten simpel automatisiert werden. Durch die zunehmende Digitalisierung rückt auch Big Data immer mehr in den Vordergrund. Das Datenwachstum nimmt exponentiell zu. Traditionelle Datenbanklösungen reichen oft nicht mehr aus und neuere „Open […]

TDWI 2017 – Ein Erfahrungsbericht der OC Young Guns

Vom 26. bis 28.06.2017 war OPITZ CONSULTING mit einem starken Team auf der TDWI Konferenz in München vertreten. Die TDWI Konferenz ist ein Branchentreffpunkt der BI Community mit über 1200 BI-Experten, bei dem die meisten namenhaften Unternehmen der BI-Branche zusammenkommen, um Expertenwissen auszutauschen. Mit OC Beteiligung gab es drei spannende Vorträge zu folgenden Themen: Künstliche […]