ObservabilityCON 2024 New York City

Bitte entschuldigt, dass der Blogpost erst jetzt erscheint. Nachdem wir schon die Gelegenheit hatten, über den grossen Teich zu fliegen, wollten wir die Chance nutzen, Amerika etwas genauer unter die Lupe zu nehmen. Darum sind wir erst vor kurzem wieder im Office.

Die Aufnahmen der ObservabilityCON
Blogpost von Grafana

Loki Workshop

Im Loki Workshop wurde primär die Effizienz des Indexierens von Loki hervorgehoben.

Line-Filter und Label-Filter machen die Suche effizienter. Zuerst wählt man den Stream, dann den Line-Filter (z. B. enthält, enthält nicht, Regex) und zuletzt den Parser.
Die Integration mit OpenTelemetry (OTLP-Endpoint) erleichtert die Ingestion von OTEL-Logs.
Im neuen Logs/Metrics-Tab im Explore-Modus von Grafana muss kein LogQL mehr verwendet werden, um grundlegende Abfragen zu machen. Dadurch wird die Benutzerfreundlichkeit erheblich verbessert.

Wer den Loki Workshop selber durchführen möchte, findet alles dazu in den Unterlagen.

Opening Keynote

Die Konferenz startete mit einer riesigen Show. Grafana Labs CEO Raj Dutt schwärmte von der weltweiten Community, 250M$ Umsatz pro Jahr und über 5000 Kund:innen. Er übergab das Wort an seinen CTO Tom Wilkie und der setzt das Thema der Konferenz: AI/ML, resp. Grafanas neue Explore Features!

Grafana versucht im Allgemeinen ihren kompletten Stack für die Benutzer:innen zugänglicher zu gestalten und alles zu vereinfachen.

Neben dem Explore-Feature, das bereits ohne tiefgehende Prom- oder LogQL-Kenntnisse wertvolle Einblicke in bestehende Metriken und Logs bietet, gibt es noch weitere Features, die den Arbeitsalltag erheblich erleichtern:

Grafana hat einen neuen Dashboard Linter vorgestellt. Dieser hilft, die verwendeten Dashboards zu optimieren, indem beispielsweise geprüft wird, ob im Dashboard sinnvolle Variablen (z. B. für die Datasource oder Timeranges in range vector selectors) verwendet werden und ob die verwendeten PromQL/LogQL Queries syntaktisch korrekt sind. Das Synthetic Monitoring wurde massiv ausgebaut und bietet nun auch headless Browser Checks. Und die neue Datadog «Integration» liefert einen einfachen Weg für die Migration zu Grafana.

Weiter wurde die Anzahl der Integrationen deutlich erweitert. Integrationen sind kuratierte Sammlungen von Dashboard und Alerts, welche dabei helfen, Applikationen mit wenig Aufwand über Grafana zu überwachen. So sind beispielsweise für PostgreSQL, Redis oder NGINX Dashboards und zum Teil auch Alert Rules verfügbar. Insgesamt ist gemäss Grafana Labs die Anzahl der Integrationen auf über 100 gestiegen.

Die Talks

In den anschliessenden Talks wurden die neuen Features vertieft vorgestellt und wir möchten euch hier eine Zusammenfassung liefern.

Sail Point Talk

Im Vortrag wurde erläutert, wie durch den Einsatz von Adaptive Metrics die Anzahl der Timeseries um 50 % reduziert werden konnte. Dadurch wurde gezeigt, dass das SaaS-Angebot von Grafana kosteneffizienter sein kann als eine OnPrem Open-Source-Installation.

Instrumentation and Ingestion: Grafana Alloy, Beyla, and OpenTelemetry

In diesem Talk wurde mit einem Oneliner demonstriert, wie mit einem einzigen Befehl ein Kubernetes-Cluster mithilfe von Grafana Alloy und Beyla instrumentiert werden kann. Dies ermöglicht den Zugriff auf eine Vielzahl von Metriken, ohne jede Applikation einzeln instrumentieren zu müssen.Ob das jedoch ausreicht, um produktive Workloads zu überwachen, bezweifeln wir aktuell noch. Es ist aber sicherlich ein guter Start, um eine Übersicht über die deployten Applikationen zu erhalten.

How to use synthetics, load testing, and real user monitoring to understand your end users’ experience

Wenn du was mit Frontend machst, dann schaue dir diesen Talk an.

Die anderen Talks waren primär Demos von den Explore Features.

Unser Fazit

Grafana Labs scheint sich aktuell hauptsächlich auf zwei Themencluster zu fokussieren:

1. Easier LGTM (Loki, Grafana, Tempo, Mimir)

Grafana und das ganze Ökosystem um Grafana ist extrem mächtig und bietet eine Vielzahl von Möglichkeiten und Features. Damit steigt aber auch die Komplexität in der Bedienung der Tools. Mit den neuen Explore Features sowie besseren Integrationen möchte Grafana sicherstellen, dass ihre Tools trotz grossem Funktionsumfang sowohl Neueinsteiger:innen als auch erfahrenen Observability Engineers genau das bietet, was die entsprechende Zielgruppe von den Tools erwartet. Unsere Erfahrungen zeigen, dass die vielen Funktionen und das teils nicht ganz konsequent umgesetzte Wording vor allem neuen Grafana Nutzer:innen herausfordert. Der Fokus hin zur Simplifizierung ist daher sicherlich ein wichtiger Schritt.

2. AI/ML

Natürlich kam auch diese Konferenz nicht ohne ML aus. Grafana Labs erwähnte AI/ML hier hauptsächlich im Zusammenhang mit den neuen adaptiven Features welche es ermöglichen, ungenutzte Metriken und Logs zu verwerfen, um Kosten zu sparen. Das ist an sich eine nette Idee, allerdings greift man beim Ad-Hoc Troubleshooting oft auf Logs und Metriken zu, welche man nicht unbedingt in Dashboards oder Alerts verwendet. Wenn nun also genau die relevanten Daten fehlen, könnte das sehr frustrieren sein. Ob sich also diese Lösung mit dem Verwerfen der Daten bewährt, ist aus unserer Sicht fraglich.

Weitere Highlights in Amerika

Unsere Must Sees, wenn man schon mal dort ist:

• Alchemist Brewery
• Mount Washington
• Freiheitsstatue
• Niagara Falls
• Benjamin Franklin Bridge
• Thomas Edison National Historical Park