Das Fischen in riesigen Datenströmen nach relevanten Informationen stellt Unternehmen vor eine Herausforderung. Harpoon ist ein mächtiges und flexibles Werkzeug zur Verarbeitung von Echtzeit- und historischen Fahrzeugdaten.
Ein Fischereiausflug
Das Fischen mit dem Speer ist eine der ältesten Methoden der Menschheit zur Nahrungsbeschaffung. Eine Harpune, ein mit Widerhaken ausgestatteter Speer, steigert den Erfolg bei der Fischjagd. Da es keinen unerwünschten Beifang gibt und keine Beschädigungen durch Netze oder Leinen entstehen, gilt das Speerfischen als eine der ressourcenschonendsten Fischereiarten.
Nebst Jagdgespür und Geduld wird dem Fischer ein einwandfreies Sehvermögen abverlangt. Der Fischer muss den optischen Versatz berücksichtigen, wenn er seine Beute durch die Wasseroberfläche anvisiert. Sein Ziel ist nicht dort, wo es scheint. Ein erfolgreicher Speerfischer benötigt daher jahrelange Erfahrung.
Vergleichen wir den Speerfischer bei der Suche nach dem grossen Fang mit einem Unternehmen. Dieses versucht in der Masse seiner Datenströme die wichtigen Informationen zu selektieren. Ebenso wie der Fischer will das Unternehmen dabei ressourcenschonend und gezielt vorgehen. Dabei ist die jahrelange Erfahrung ausschlaggebend, um genau die Informationen zu fangen, welche wirklich wertvoll sind.
Dem Fischer dient seine Harpune. Die moderne IT verlässt sich auf Puzzle ITC’s Harpoon!
Fischen im Datenstrom
In einem Verkehrsbetrieb senden die auf Fahrzeugen verbauten Komponenten sowie Arbeitsgeräte immer mehr Messdaten und Fehlermeldungen. Ein modernes Unternehmen verfügt über die benötigte IT-Infrastruktur, um die Daten zu speichern und verarbeiten zu können. Die Fülle an Daten wird mittels Software verarbeitet. Am Ende des Monats können aussagekräftige Statistiken und Reports generiert werden. Die Datenbanken dienen im Fehlerfall dazu, Ursachen zu ermitteln und für einen zukünftigen Fall gewappnet zu sein. Sind aufgrund des Ausfalls Ressourcen blockiert, muss zeitnah herausgefunden werden, wie lange die verbleibenden Kapazitäten reichen. Solche Auswertungen benötigen nicht nur viel Zeit, sie führen auch zum Unterbruch der täglichen Arbeit.
Wäre es nicht optimal, wenn der Betrieb im exakt selben Moment, in dem die Daten eintreffen, von ihnen profitieren könnte? Warum bis ans Monatsende und auf die Ergebnisse einer langen Analyse warten?
Echtzeitanalyse mit Harpoon
Mit Harpoon ist dieser Wunsch kein Ding der Unmöglichkeit. Harpoon ist dafür ausgelegt, Daten aus verschiedenen Quellen entgegen zu nehmen oder abzufragen. Durch den flexiblen Aufbau des Systems kann es für alle möglichen Datenquellen wie zum Beispiel REST, Dateiuploads oder Polling von Dateiservern erweitert werden.
-
Daten aus diesen Quellen können umgewandelt, zusammenführt und mit historischen Informationen ergänzt werden. Weil Harpoon selbst Datenströme verwendet und modular aufgebaut ist, sind dabei keine Grenzen gesetzt.
-
Durch Services mit massgeschneiderten Algorithmen oder künstlicher Intelligenz findet ein Unternehmen in den angereicherten Daten die Informationen, welche es im Tagesgeschäft benötigt oder welche die aktuelle Situation erfordert. Diese Services können von Puzzle oder von Dritten entwickelt werden. Der Betrieb kann eigenständig oder auf der Puzzle Plattform erfolgen.
-
Harpoon kann ebenso wie beim Erwerb der Daten auch bei deren Abfluss auf verschiedene Formate und Systeme angepasst werden. Durch seine offenen Schnittstellen können Drittsysteme Daten abfragen und selbst weiterverwenden. So können bestehende Datenbanken und Datalakes weiter benutzt werden.
-
Offene Schnittstellen und Erweiterbarkeit erlauben die direkte Anbindung von Data-Science Werkzeugen. Ein Unternehmen kann neue Erkenntnisse aus dessen Daten gewinnen und in Form von verbesserten Algorithmen wieder in Harpoon-Services einfliessen lassen.
Seine Flexibilität und Erweiterbarkeit erreicht Harpoon durch seine Microservice-Architektur. So ist es nicht auf eine Programmiersprache oder Plattform limitiert, sondern kann für jede Erweiterung die beste Technologie verwenden. Es lässt sich auf fast jede Situation, Umgebung und Datenmenge anpassen. Sobald ein Service die Datenmenge nicht mehr bewältigen kann, startet automatisch eine weitere Instanz. Harpoon skaliert vertikal, um die Datenlast verarbeiten zu können.
Harpoon im Einsatz bei Puzzle ITC
Unser Hauptaugenmerk bei der Entwicklung von Harpoon liegt auf der Verarbeitung von Fahrzeugdaten des täglichen Betriebs. Als lokale Testanlage dient uns dabei die kontinuierliche Verbesserung der Steuerung eines autonomen Roboterfahrzeugs auf einer Rennstrecke. Dieses schickt uns kontinuierlich seine Geschwindigkeit und seinen Lenkeinschlag sowie das Bild der eingebauten Kamera. Ein zusätzliches System ermittelt seine Position auf dem Parcours.
Die Daten erreichen Harpoon über eine MQTT-Queue. Sind diese einmal im System, werden sie an die interessierten Services weitergereicht. Zuerst werden die Telemetrie und Positionsdaten, welche aus unterschiedlichen Quellen stammen, zusammengeführt. Ein weiterer Service speichert die zusammengeführten Daten für die spätere Verwertung im Machine Learning in Hadoop. Dank einem weiteren Service werden die aktuellen Daten dynamisch in einem Dashboard dargestellt.
Relevante Informationen aus Daten
Das Internet-of-Things liefert mehr Daten als je zuvor. Eine moderne IT-Infrastruktur muss diese Daten in Echtzeit verarbeiten und Einblicke in den aktuellen Zustand aller Anlagen geben können. So wird eine Menge an Daten zu nützlicher Information verarbeitet. Harpoon von Puzzle ITC erfüllt alle gestellten Anforderungen, wächst mit einem Unternehmen und passt sich diesem bedarfsgerecht an. Damit dient Harpoon jedem Unternehmen als präzises Hilfsmittel, um benötigte Informationen nicht entwischen zu lassen. Ebenso wie die Harpune dem Speerfischer.
Für alle, die jetzt Lust aufs Speerfischen haben: In der Schweiz und Deutschland ist es verboten, Fische mit einem Speer zu Jagen.
Themengebiete
Datalake, Datastreaming, Data-Science, Agile, FCD, Floating Car Data, Vehicle Data, Artificial Inteilligence, Machine Learning, Mobility, IoT
Puzzle ITC als idealer Partner
In Puzzle ITC findest du einen idealen Partner mit technischer und fachlicher Expertise. Als Dienstleister bietet Puzzle ITC die Einrichtung und Weiterentwicklung als auch den Betrieb der Software aus einer Hand an. Kunden mit eigenen Softwareentwicklern und Infrastruktur schulen wir in der Programmierung eigener Module und Betrieb.
.jpg){kind=link}