Blog

8. Januar 2018

Teil 4: Profiler im Vergleich – Blackfire, Tideways, New Relic APM

Profiler im Vergleich

Drei der wichtigsten Profiler im eCommerce sind Blackfire, Tideways und New Relic APM. Im Vergleich wird deutlich, wo die Stärken der einzelnen Tools liegen.

In den bisherigen Beiträgen dieser Blogserie sind wir den Fragen nachgegangen: Warum sollte für Onlineshops ein spezieller eCommerce Profiler eingesetzt werden? Welche Profiler sind besonders effizient für Onlineshops? Welche Funktionen und Anwendungsmöglichkeiten haben diese eCommerce Tools im Detail? Dafür haben wir BlackfireTideways und New Relic APM einzeln vorgestellt.

Doch welcher Profiler passt zu den persönlichen Anforderungen? Wo liegen die Stärken und Schwächen im direkten Vergleich?

In diesem Beitrag werden BlackfireTideways und New Relic APM miteinander verglichen. Die nachfolgende Tabelle zeigt einen Überblick der wichtigsten Funktionen: Performance Monitoring, Alarmierung, Übersicht, Profiling, Benutzerverwaltung und Kosten. Die einzelnen Funktionen werden anschließend detailliert miteinander verglichen. Im Fazit wird eine Bilanz gezogen.

Profiler Vergleichstabelle

Funktion Blackfire Tideways New Relic
Performance Monitoring Automatisches, regelmäßiges Profiling von wichtigen Seiten durch eigene Szenarien Konstantes, passives Profiling von allen Kundenanfragen Konstantes, passives Profiling von allen Kundenanfragen
Alarmierung Eine Alarmierung lässt sich nur in den Szenarien konfigurieren. Alarm über die Antwortzeit oder die Fehlerraten von Kundenanfragen Alarm über die Antwortzeit oder die Fehlerraten von Kundenanfragen. Auch dynamisch, bei Verschlechterung der Antwortzeit
Übersicht Letzte Ergebnisse und Referenzen Ladezeiten, Requests und letzte Messungen Ladezeiten, Score, Aufteilung der Datenbankanfragen, Aufteilung der Webaufrufe
Profiling Detailliertes Profiling über Zeit, CPU, I/O Wait, Memory, Network Calls, HTTP und SQL Requests. Jeweils in verschiedenen Ansichten Detailiertes Profiling über Zeit in verschiedenen Ansichten. Darstellung von SQL Requests und externen Ressourcen. Kein vollständiges Profiling möglich, allerdings Performance Tracings für langsame Requests sowie eine Übersicht über das Timing von Aufrufen
Benutzer-
verwaltung
Ab der Premium Edition ist eine Benutzerverwaltung für bis zu 3 Benutzer vorhanden. Weitere Benutzer sind gegen einen Aufpreis freischaltbar. Gute Benutzerverwaltung Sehr gute Benutzerverwaltung. Möglichkeit, mit einem New Relic Account verschiedenen Organisationen anzugehören
Kosten 0€ / Monat / local development server
19, 90 € / Monat / production server
82,50€ / Monat / 1 environment, 3 collaborators
19 € / Monat / nur Staging, 1 Server
39€ / Monat / 2 Server
89 € / Monat / 5 Server
159 € / Monat / 10 Server
75$ – 149$ / Monat
maxcluster Unterstützung Lässt sich einfach und schnell über das Managed Center einrichten. Bei Bedarf Support von maxcluster Lässt sich einfach und schnell über das Managed Center einrichten. Support von maxcluster bei Bedarf  Lässt sich einfach und schnell über das Managed Center einrichten. Bei Bedarf Support von maxcluster

Performance Monitoring

Mit der Funktion „Performance Monitoring“ überwachen die Profiler Onlineshops sowie andere Webanwendungen. Das Performance Monitoring kann sich je nach Profiler auf den gesamten Shop beziehen oder auf einzelne Seiten des Shops.

Tideways und New Relic APM arbeiten mit passivem Profiling. Das bedeutet, dass die Funktion konstant im Hintergrund ausgeführt wird und nicht extra aktiviert werden muss. Alle Kundenanfragen werden überwacht. Der Vorteil des konstanten, passiven Monitorings liegt darin, dass auf diese Weise Probleme aufgedeckt werden können, welche vorher nicht eingeschätzt wurden. Dazu zählt beispielsweise, dass Kunden sich unvorhersehbar anders verhalten als zuvor erwartet.

Im Bereich Monitoring bietet Blackfire im Vergleich zu den anderen Profiling Tools den geringsten Umfang. Mit diesem Tool ist eine Überwachung ab der Premium Edition durch die Funktion „Szenarien“ möglich. Mit den Szenarien lässt sich das Verhalten eines Kunden simulieren. In den Szenarien müssen die Seiten des Onlineshops explizit für eine konstante Überwachung definiert werden.

Alarmierung

Eine Alarmierung ist eine Warnung, die an den technisch Verantwortlichen gerichtet wird, sobald sich eine Metrik unter einen definierten Schwellwert negativ verändert. Es ist möglich, bestimmte Richtwerte einzustellen, z.B. im Bereich Antwortzeiten. Werden diese Richtwerte unter- bzw. überschritten, erfolgt eine Warnung über den vorher festgelegten Kommunikationskanal (z.B. per E-Mail).

Die Alarmierungen sind bei New Relic APM am ausführlichsten einstellbar. Hier ist es möglich, einen Alarm über die Antwortzeit oder über die Fehlerraten einzustellen. Das Programm (ab Pro Edition) erkennt bereits eine dynamische Verschlechterung der Antwortzeit und erteilt auch hierüber eine Warnung.

Tideways verfügt ebenfalls über Alarmierungen bei den Antwortzeiten oder Fehlerraten. Im Gegensatz zu New Relic APM erkennt der Profiler allerdings keine dynamische Verschlechterung, sondern alarmiert nur bei Erreichen der definierten Richtwerte.

Blackfire verfügt von den drei Profilern in dieser Funktion über den geringsten Umfang. Erst ab der Premium Edition lassen sich in Blackfire Tests erstellen, welche wiederum zu Szenarien zusammengefasst werden. Eine Alarmierung lässt sich nur über diese Szenarien einstellen. Wenn ein solcher Test nach vorher festgelegten Metriken (Antwortzeit, Speicherverbrauch, etc.) fehlschlägt, kann eine definierte Person informiert werden und sich den Szenarien-Bericht anschauen.

Übersicht

Die Übersicht stellt die einzelnen Funktionen des jeweiligen Profilers anschaulich dar. New Relic APM verfügt in diesem Bereich über die größte Benutzerfreundlichkeit. Die Übersicht ist bei diesem Tool gut strukturiert, sodass schnell und einfach die einzelnen Funktionen abrufbar sind. Dazu zählen unter anderem Ladezeiten, Score, Aufteilung der Datenbankanfragen sowie die Aufteilung der Webseitenaufrufe.

Tideways konzentriert sich in der Übersicht auf die wesentlichen Funktionen. Anhand von zwei Graphen lässt sich die aktuelle Performance schnell überblicken. In den Tabellen der Übersichtsseite lassen sich die manuellen und automatischen Traces leicht aufrufen.

Mit dem sehr aufgeräumten Design von Blackfire lassen sich schnell und einfach die Traces und vorhandenen Referenzprofile abrufen. Weitere Funktionen sind weiterhin über die Menüführung erreichbar.

Profiling

Die Stärken von Blackfire und Tideways liegen eindeutig im Profiling.

Mit Tideways und Blackfire lassen sich detaillierte Callgraphen und Tabellen erstellen. Die wesentlichen Unterschiede liegen unter dem Strich in der Darstellung. Beide Tools verfügen über die Möglichkeit, die Laufzeit einzelner Funktionen darzustellen und langsame Datenbankanfragen und externe Ressourcenaufrufe zu lokalisieren. Blackfire bietet dazu zusätzlich die Möglichkeit, neben dem klassischen Profiling auch die Arbeitsspeicher Belegung, die CPU-Zeit und IO-Wait für einzelne PHP-Funktionen zu messen.

Mit New Relic APM lassen sich Performance Tracings für langsame Requests erstellen. Außerdem lässt sich eine Übersicht über das Timing von Aufrufen erstellen.

Benutzerverwaltung

Die stärkste Verwaltung bietet New Relic APM. Besonders für Agenturen ist hier interessant, dass man mit einem einzigen Account mehreren Organisationen angehören kann.

Auch Tideways verfügt über eine sehr übersichtliche Verwaltung. Es ist möglich, verschiedenen Benutzern einzelne Rechte zuzuteilen.

Blackfire verfügt erst ab der Premium Edition über eine Benutzerverwaltung. Dabei können drei Benutzer gleichzeitig mit einem Projekt arbeiten. Darüber hinaus wird für jeden weiteren Benutzer eine zusätzliche Gebühr erhoben.

Kosten

Im Bereich der Kosten liegt Blackfire mit der kostenlosen „Hack Edition“ ganz vorn. Damit lässt sich bereits ein grundlegendes Profiling durchführen, um Flaschenhälse aufzuspüren. Allerdings ist dies nur für die lokale Entwicklungsumgebung zulässig. Die Profiler-Edition ist ab 19,90 € pro Monat für die Produktionsserver umsetzbar. Die Premium Edition ist ab 82,50€ pro Monat verfügbar.

Die Kosten für New Relic APM liegen je nach Edition bei 75$ bis 149$ pro Monat. Das beläuft sich nach dem aktuellen Stand der Währung auf 63,81 € bis 126,77 €. New Relic kann 15 Tage kostenlos getestet werden.

Das deutsche Profiling und Monitoring Tool Tideways kostet je nach Edition und Serveranzahl zwischen 19 € und 159 € pro Monat. Es ist aber möglich, die Funktionen von Tideways 30 Tage lang zu testen.

Integration bei maxcluster

Alle drei Profiling Tools sind aufgrund ihrer hohen Effizienz in unseren eCommerce Stack integriert. Nach dem Kauf einer Lizenz auf der jeweiligen Profiler Webseite lässt sich der gewünschte Profiler in unserem Managed Center einfach per Mausklick aktivieren. Es muss lediglich der jeweilige Lizenzschlüssel eingegeben werden.

Fazit

Alle drei der genannten Profiler sind gut dafür geeignet, um Flaschenhälse im Onlineshop ausfindig zu machen.

Welches dieser drei Tools am besten für den eigenen Onlineshop geeignet ist, hängt sehr stark von den Anforderungen des Shopbetreibers ab. Existiert beispielsweise ein Ladezeitenproblem im Onlineshop, dessen Ursprung nicht einfach ausfindig zu machen ist, eignen sich insbesondere Tideways und Blackfire. Mit den umfangreichen Profiling Funktionen, können Fehlerquellen schnell identifiziert werden. Mit Blackfire lassen sich zusätzlich noch speziellere Profilings durchführen, wie beispielsweise ein Memory Profiling.

Wenn der Fokus der Anforderung auf der kontinuierlichen Überwachung des Shops liegt, lässt sich insbesondere New Relic APM empfehlen. Die Stärke dieses Profilers liegt im Monitoring. Von allen drei Profilern hat New Relic APM die umfangreichsten Überwachungsmöglichkeiten.

Sollte der Bedarf allerdings bei einer Mischung aus Monitoring und Profiling liegen, dann ist Tideways ein geeignetes Werkzeug. Tideways verfügt sowohl über detaillierte Profiling-Möglichkeiten im Bereich Zeit als auch über passives Monitoring inklusive Alarmierungen.

Doch in einigen Fällen ist auch eine Kombination aus zwei Profiling Tools sinnvoll. Eine Langzeitüberwachung durch New Relic APM lässt sich beispielsweise gut mit dem detaillierten Profiling von Tideways oder Blackfire kombinieren.

 

Grafik: maxcluster.de, 2017