In-Memory-Technologien im BI/Analytics-Umfeld

Die wachsenden Anforderungen für komplexe Datenauswertungen im BI/Analytics-Umfeld erfordern immer schnellere hochtechnisierte Hardware, um auch langfristig die strategischen Entscheidungen eines Unternehmens zu unterstützen. Der Begriff „In-Memory“ wurde zuletzt durch andere Hype-Keywords von den vorderen Plätzen verdrängt.  Nun gehört das Thema wieder auf die Tagesordnung. „In-Memory“ stellt eine Möglichkeit dar sich den wachsenden Anforderungen zu stellen. Mit unserem Whitepaper […]

Datenmodellierungsübung an der der TH Köln

Heute sind Janine Ellner, Thomas Kopp, Fabian Hardt und ich nicht zum Kunden gefahren, sondern zur TH Köln (Campus Gummersbach). Wir haben dort eine Übung zu der Veranstaltung Betriebliche Anwendungssysteme 1 (BA1) gehalten. Begonnen haben wir die Übung mit dem folgenden Architekturbild eines Data Warehouses: Der Sinn eines Data Warehouses ist die Konsolidierung und Aufbereitung […]

TDWI Young Guns Barcamp @Hamburg

Am 27.10.2017 fand in der Superbude in St. Pauli / Hamburg das Business-Intelligence-Barcamp, organisiert vom TDWI, statt. Das lockere Treffen in einer sehr coolen Location wurde extra für die „Young Guns“ ausgerichtet. Somit waren vor allem Studenten, Berufseinsteiger, Young Professionals oder erfahrene BI-Experten in Begleitung eines Juniors anwesend.  Der Sinn dahinter ist, dass der jüngeren […]

Innovation im Mittelstand

Ein Kunde der im Bau von Maschinen und Bearbeitungslinien zur Fischverbeitung in Deutschland tätig ist, möchte nicht nur seinen Fertigungsprozess effizienter gestalten, sondern auch eine innovative und smarte Steuerung für seine Maschinen entwickeln. Das Unternehmen hat erkannt, dass für den Wirtschaftsstandort Deutschland die Unternehmensstrategie angepasst werden muss, um die Marktposition ausbauen zu können und als […]

AWS News KW 38 – 43

Da ich die letzten Wochen Urlaub hatte, gab es keine Zusammenfassung der AWS News. Während meines Urlaubs war ich auch in Seattle und entdeckte durch Zufall das das Hotel nur eine Straße vom Amazon HQ entfernt war. Die Kugeln sind nicht das HQ sondern nur zukünftige Meetingräume. Das Gebäude links davon ist das HQ. Schön […]

Sequences and Flow Control in Oracle Data Integrator

Most developers that start working with Oracle Data Integrator (ODI) and create their first mappings will stumble upon an error message like this pretty early in their ODI career: In this blog post, I will first recreate this error with ODI 12.2.1.2.6 and then show what you can do about it. For understanding this post, you […]

Reduzierte Big Data Kosten mit AWS Spot Instanzen

Wer sich heutzutage mit Big Data Themen kombiniert mit Amazon Web Services (AWS) beschäftigt, benötigt in der Regel schon ein eigenes kleines Wörterbuch für die ganzen Abkürzungen und Toolnamen aus beiden Welten. Ein weiteres Thema ist die eigene Problemstellung in dieser neuen Welt zu implementieren. Das sich dieser Weg durchaus auf verschiedenen Ebenen lohnt, möchte […]

Apache Kafka – im Detail (Teil 2)

Schaut man sich Kafka im Detail an, wird der Aufbau schnell komplex. Dort gibt es dann Broker, Partitionen, Replica, Leader, Follower und die aus Teil 1 schon bekannten Topics. Aber der Reihe nach: Kafka selbst läuft auf sogenannten Brokern, oft auch Nodes genannt, wobei ein Broker im Prinzip ein Kafka Server ist. Ab zwei oder […]

Die Lambda-Architektur in der Praxis

In der IT ist es kaum noch möglich, dem Word „Lambda“ zu entgehen: Die Lambda-Ausdrücke in Java 8, Amazons AWS Lambda für Cloud-Berechnungen und auch im Big-Data-Bereich ist die Lambda-Architektur ein zentrales Architektur-Pattern für datengetriebene Systeme. Was eine Lambda Architektur genau ist und vor allem mit welchen Tools aus dem Hadoop Ökosystem sie realisiert werden […]

High Availability und Big Data – Simples Einrichten einer hochverfügbaren HDFS Umgebung

  Hochverfügbarkeit ist ein unterschätztes und leider häufig vernachlässigtes Thema. Auch eine Big-Data-Distribution, in der per se eine Datenreplikation auf einzelne DataNodes eingeschaltet ist, sollte hier miteinbezogen und hochverfügbar konfiguriert werden. Es reicht nicht aus, nur die Replikation der DataNodes zu benutzen, sondern die High-Availability-Funktion kann zusätzlich aktiviert werden. Denn sollte der zentrale NameNode ausfallen, […]