Apache Zeppelin für OpenDevStack

Aufgrund einer Projektpause haben wir uns mit einem Projekt des OCLabs beschäftigt, dessen Ziel es ist, Apache Zeppelin als Quickstarter auf OpenDevStack zu implementieren.

Was ist Apache Zeppelin?

Apache Zeppelin bietet die Möglichkeit ähnlich wie Jupyter Notebook, Notebooks zu erstellen, um Daten zu analysieren. Ein Notebook zeichnet sich dadurch aus, dass man Code- und Fließtext miteinander vermischen kann und den Code gleichzeitig im Notebook ausführen kann. Das führt dazu, dass die Ergebnisse direkt im Notebook sichtbar sind und man keine IDE braucht. Es unterstützt jedoch mehrere verschiedene Interpreter und grenzt sich somit zu Jupyter Notebook ab, das hauptsächlich Python unterstützt. Beispielsweise werden Apache Spark, R und Scala unterstützt.

Was ist OpenDevStack?

OpenDevStack basiert auf OpenShift von RedHat und ist eine Managementplatform für Container. OpenDevStack bietet den Vorteil beim Start eines Projekts die notwendigen Softwarekomponenten effizient und schnell durch Container bereitzustellen. Dadurch muss sich der Entwickler nicht mehr um das Aufsetzen der Architektur kümmern.

Wie sind wir vorgegangen?

Zu Beginn haben wir probiert Apache Zeppelin mit Docker lokal laufen zu lassen, wofür wir das offizielle Dockerfile von Apache Zeppelin aus Docker Hub benutzt haben. Dies hat ohne Probleme funktioniert! 😊

Der nächste Schritt war also Apache Zeppelin auf OpenDevStack zum Laufen zu bringen. Dabei stellten sich die drei folgenden Probleme heraus:

  1. OpenDevStack benötigt memory limits, damit ein Container hochgefahren werden kann. Diese Limits werden jedoch nicht automatisch gesetzt und müssen deswegen manuell nachträglich in OpenDevStack eingetragen werden.
  2. Beim Start des Docker Containers werden Ordner unter anderem für Logs angelegt. Damit dies fehlerfrei funktioniert, muss im Dockerfile noch Code hinzugefügt werden, um Zugriff zu bekommen.
  3. Der Container konnte nun fehlerfrei hochgefahren werden, jedoch konnte man noch nicht auf die Anwendung zugreifen. Aus diesem Grund haben wir letztlich noch eine Route zu der Anwendung hinzugefügt, die nun Apache Zeppelin erreichbar macht.

Zusammenfassung

OpenDevStack erleichtert die Arbeit von Entwicklern und deswegen ist es sinnvoll, Quickstarter dafür zu erstellen. Nun kann Apache Zeppelin auch schnell auf OpenDevStack verwendet werden.

Viel Spaß! 😊

Euer Martin Meinel und Eric Nguyen.

Kommentar verfassen

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

%d Bloggern gefällt das: