Mit der Einführung von Google Analytics 4 hat sich vieles verändert. So sollen jetzt noch relevantere und besser visualisierte Berichte möglich sein. Die nicht gegebene Abwärtskompatibilität zu Google Universal Analytics ist meiner Meinung nach eine der größten Änderungen. Da Google offensichtlich nicht zwei Versionen pflegen möchte, wurde Google Universal Analytics zum 01.Juli 2023 eingestellt.
Besonders für Unternehmen bringt die Einstellung von Google Universal Analytics einige Herausforderungen und Probleme mit sich.
Auch, wenn ich es moralisch oft heikel finde, wie Google mit unseren Daten umgeht, so lässt sich nicht leugnen, dass die Informationen, wie Benutzer mit einer Seite interagieren, für Unternehmen wichtig und notwendig sind: Sowohl für die Weiterentwicklung, Verbesserung als auch für den Erhalt von Online-Angeboten. Über die Daseinsberechtigung von Tracking und welche Alternativen es zu den großen Playern gibt, sprechen wir in einem anderen Artikel.
Fakt ist, dass die in Google Universal Analytics gespeicherten Daten laut aktuellen Aussagen von Google nur noch bis Juli 2024 verfügbar sein werden. Auch wenn es zum jetzigen Zeitpunkt schon verschiedene Gerüchte gibt, dass Google diese Daten in irgendeiner Form trotzdem noch zur Verfügung stellen wird, würde ich mich darauf nicht verlassen.
Wenn du, das Unternehmen, für das du tätig bist oder deine Kunden Google Analytics nutzen, dann ist es jetzt an der Zeit, gemeinsam eine Strategie für die Speicherung der in Google Universal Analytics gesammelten Daten zu entwickeln.
Wenn ich die Wahl hätte, dann würde ich mich für die Rohdaten entscheiden. So könnten wir aus den Ereignissen zu einem späteren Zeitpunkt unsere gewonnenen Erkenntnisse erneut ableiten. Allerdings gibt es nach aktuellem Stand keinen Zugriff auf diese Daten und ich könnte mir gut vorstellen, dass diese Daten bei Google nicht dauerhaft gespeichert werden. Allerdings haben wir die Möglichkeit, Berichtsdaten zu exportieren. Wenn du eine schnelle Lösung bevorzugst, kannst du einen Bericht in Analytics aufrufen und oben rechts die Exportfunktion nutzen. Darüber hast du die Möglichkeit, auf verschiedene Exporte (CSV, PDF, …) zu dem aktuellen Bericht zuzugreifen. Beachte dabei aber, dass nur die Daten für den aktuell ausgewählten Zeitraum exportiert werden. Wenn du mehr als eine Property und mehr als ein paar Übersichten haben möchtest, ist diese Option für dich vermutlich nicht praktikabel.
Wir brauchen die Informationen also in einer Auflösung, mit der wir sie später möglichst gut wieder zu individuellen Zeiträumen zusammensetzen können. Daher empfiehlt es sich, die relevanten Berichte mit einem Zeitraum von einem Tag zu exportieren. Aus diesen Daten kannst du später dann die Werte für eine Woche, einen Monat oder einen benutzerdefinierten Zeitraum berechnen.
Lass uns an dieser Stelle ein kleines Rechenbeispiel betrachten: Stell dir vor, du möchtest für fünf Webseiten 20 unterschiedliche Berichte für die letzten fünf Jahre sichern. Bei einer Auflösung von einem Tag entsprechen fünf Jahre 1.825 Tagen, für 20 unterschiedliche Berichte ergeben sich 36.500 Berichte pro Webseite. Auf fünf Webseiten hochgerechnet haben wir somit 182.500 Berichte, die du herunterladen musst.
Wenn du nun eine verantwortliche Person aus dem Marketing Team fragst, welche Daten aus Google Universal Analytics für sie wirklich relevant sind, wirst du mit großer Wahrscheinlichkeit die Antwort “Alle!” bekommen. Wenn wir aber von “Alle Daten” sprechen, dann kann ich dir versichern, dass das nicht möglich ist. Wir sprechen von mehreren hundert Dimensionen und Metriken, aus denen sich tausende von Berichten ableiten lassen. Wenn wir einen Abschluss bis 01. Juli 2024 einplanen, haben wir zum Zeitpunkt, als ich diese Zeilen schreibe, noch etwa 70 Tage Zeit. Für die Berechnung der Downloadzeit gibt es zwei relevante Limits: “Anzahl der Anfragen pro Ansicht und Tag” => 10.000 und “Anzahl der Anfragen pro Konto pro Tag” => 50.000. Ich habe dir in der folgenden Tabelle ein paar Beispiele für Downloadzeiten durchgerechnet:
Egal wie sehr wir es versuchen: “Alles” geht nicht. Lass dir also von den Kollegen / Mitarbeitern, die mit den Daten arbeiten, genau erklären, auf welche Daten sie später zugreifen wollen. Je nachdem, wie viele Berichte am Ende benötigt werden , kannst du dann gemeinsam mit den Benutzern eine Priorisierung vornehmen. Beachte dabei, dass die berechneten Tage den Optimalfall darstellen und nur funktionieren, wenn keine Probleme auftreten.
An diesem Punkt hast du also eine Liste der Properties und Views mit den relevanten Zeiträumen und den relevanten Berichten, die du exportieren musst. Mit den Prioritäten rechnest du dir deinen Zeitplan aus, um diesen später überwachen zu können.
Mach den verantwortlichen Personen , mit denen du diese Liste erarbeitet hast, bewusst, was die Tragweite ihrer Entscheidung ist. Wenn sie an dieser Stelle eine Bericht nicht aufführen, ist ein späterer Zugriff auf die Daten nicht mehr möglich. Eine nachträgliche Ergänzung nach der Abschaltung ist nicht möglich.
Wenn du weißt, welche Daten du konkret brauchst und wie lange der Export mindestens dauern wird, brauchst Du nur noch eine Strategie, um die Daten zu speichern. Google gibt uns über die Analytics Reporting API die Möglichkeit, Berichtsdaten zu berechnen und abzurufen.
Dabei sind neben den oben genannten Limits (Anfragen pro Ansicht, Anfragen pro Konto) noch weitere Limits relevant. So darfst du zum Beispiel nur eine bestimmte Anzahl an Anfragen pro Minute/Sekunde und nur eine bestimmte Anzahl parallel ausführen. Berücksichtigst du diese nicht, kannst du für einen Zeitraum gesperrt werden, was die Gesamtdauer negativ beeinflussen wird.
Möchtest du die Daten über die API abrufen, hast du leider keinen direkten Zugriff auf die Berichte, die du im Webinterface von Google Analytics findest und musst diese selber nachbauen. Ein Bericht setzt sich dabei immer aus Dimensionen und Metriken zusammen. Schau dir dazu den folgenden Screenshot an:
Als Dimension haben wir hier “Medium” und Metriken sind zum Beispiel “Nutzer”, “Neue Nutzer” und “Sitzungen”. Diese müssen wir allerdings in die internen Bezeichner für die API übersetzen. Daraus würde sich für eine Abfrage der Daten über die API die folgenden Werte ergeben:
Dimensionen
Medium => ga:medium
Metriken
Nutzer => ga:users
Neue Nutzer => ga:newUsers
Sitzungen => ga:sessions
Um die internen Bezeichner herauszufinden, kann ich dir die folgende Seite empfehlen: https://ga-dev-tools.google/query-explorer/
Wenn ich mit diesen Daten die Analytics API aufrufe, erhalte ich für denselben Tag (wie oben dargestellt) die folgende Antwort:
In dieser Antwort haben wir alle Daten, die der obere Screenshot von Google Universal Analytics auch zeigt. Lediglich einige prozentuale Angaben (% des Gesamtwertes) fehlen, sind aber in der Regel einfach zu berechnen.
Da du in der späteren Auswertung vermutlich nicht nur einen Tag betrachten möchtest, kannst du dir noch einen zweiten Tag ansehen. Nimm am besten den darauffolgenden Tag und berechne die Summe für die jeweiligen Metriken. In Google Analytics wählst du beide Tage aus. Du wirst feststellen, dass die Werte übereinstimmen.
Damit haben wir für uns die Bestätigung bekommen, dass wir über diesen Weg die Berichte abrufen können. Die Frage nach der Speicherung haben wir allerdings noch nicht geklärt. Dir stehen alle Möglichkeiten offen, das Thema anzugehen. Du könntest die Metriken in eine MySQL Datenbank schreiben und sie dort auch schon in einer Form speichern, sodass du sie später auswerten kannst.
An dieser Stelle möchte ich dir aber davon abraten, die Daten für das Speichern zu verändern. Stell dir vor, du schreibst die Daten direkt in einer Form in eine MySQL Datenbank, in der du im Anschluss auch Auswertungen machen kannst. Im August diesen Jahres stellst du dann fest, dass dir beim Schreiben in die Datenbank ein kleiner Fehler unterlaufen ist. Nachträgliches Abrufen der Daten geht nicht mehr, da Google Universal Analytics bereits abgeschaltet ist. Dein Backup ist damit wertlos.
Mein Vorschlag: Nimm die Antwort, wie sie von der API kommt und schreibe sie in jeweils eine Datei, die du auf deiner Festplatte speicherst. Ich persönlich habe die Dateien zusätzlich noch in ein GIT Repository gepusht, um sie an einem weiteren Speicherort zu haben und weiteren Entwicklern darauf Zugriff zu gewähren. Durch das Schreiben auf die Platte ohne weitere Eingriffe in die Antwort, hast du das geringste Risiko für Fehler in den Daten.
Wenn du dann später mit der Auswertung beginnen möchtest, kannst du die Dateien von der Festplatte lesen und beliebig umwandeln, aggregieren oder Berechnungen ausführen. Dadurch, dass wir die Antwort in derselben Form gespeichert haben, wie sie von der API kam, können wir bestehende Bibliotheken benutzen, die mit dieser Antwort umgehen könnten.
Es sollte nicht allzu schwer sein, die oben genannten Anforderungen in ein Script zu schreiben und damit das Backup durchzuführen. Du kannst an dieser Stelle aber auch gerne auf meine Arbeit zurückgreifen. Das gesamte oben beschriebene Vorgehen habe ich in einem Docker-Container mit einer kleinen Weboberfläche zusammengebaut. So kannst du (ohne aktiv programmieren) Berichte bauen, die Ansichten auswählen und den Prozess des Downloads überwachen.
Im oberen Teil meines Report Downloaders siehst du eine Matrix aus Regionen (Property / Views) und Berichten. Jede Zelle der Tabelle stellt einen Download-Job dar und gibt mit der Farbe und dem Fortschrittsbalken Auskunft darüber, wie weit dieser fortgeschritten ist. Pro Datenansicht wird nur ein Job zur Zeit ausgeführt. Die anderen warten auf den vorherigen Abschluss. Jobs in verschiedenen Datenansichten können parallel laufen, werden aber von einem Rate-Limiter auf eine bestimmte Gesamtanzahl an Anfragen limitiert. Am Ende der Matrix siehst du die letzte Fehlermeldung, die von einem Job erzeugt worden ist.
Unter der Matrix ist der Konfigurationsbereich für Berichte (Reports) und Regionen. Dort erhältst du eine Übersicht über die konfigurierten Berichte und Regionen und kannst diese bearbeiten.
Für Berichte hast du die Möglichkeit eine Vorschau (Datenabruf aus Google Universal Analytics) vorzunehmen. Bei den Regionen kannst du die vorhandenen Properties und Views importieren, damit du die Daten nicht selbst herausfinden musst.
Wie du den Google Analytics Report Downloader verwenden kannst, erkläre ich dir auf meiner Projektseite
Nach Abschluss des Downloadprozesses hast du je nach Umfang der Regionen und Berichte tausende von Dateien auf deiner Festplatte liegen, mit denen du auf den ersten Blick nicht sonderlich viel anfangen kannst.
Du musst dir an dieser Stelle bewusst machen, dass du die vorherigen Schritte unternommen hast, um dir Zeit zu kaufen. Das Datenformat, welches wir verwendet haben, lässt sich nicht sonderlich leicht auswerten. Allerdings sind sie in einem Format, in dem du sie auch bei direktem Abruf von Google bekommen hättest. Da du zum jetzigen Zeitpunkt alle Daten lokal gespeichert hast, kannst du dir in Ruhe Gedanken machen, wie du diese für das Marketing-Team bereitstellen kannst.
Wird zum Beispiel nur einmal im Jahr ein Bericht aus den Daten benötigt, wäre es sicherlich eine Überlegung, den Bericht manuell zu erstellen. Wird aber die autonome Erstellung von Berichten regelmäßig benötigt, empfehle ich dir die Daten über ein Frontend zu visualisieren. Dafür könntest du die Informationen zum Beispiel in ein Elasticsearch laden und dort dann über Abfragen aggregieren.
Ich arbeite aktuell noch an einem Tool zur Visualisierung der gewonnen Daten. Sobald dieses abgeschlossen ist, werde ich dir hier über mein Vorgehen berichten.
Fest steht, dass wir nur noch begrenzte Zeit Zugriff auf die Daten aus Google Universal Analytics haben und dass wir nicht darauf vertrauen wollen und können, dass Google uns rechtzeitig eine Variante zur Speicherung der Daten zur Verfügung stellt.
Wenn du also auch in Zukunft Auswertungen aus deinen Daten aus Google Universal Analytics vornehmen möchtest, solltest du jetzt handeln.
Finde heraus, welche Daten du und dein Team wirklich braucht
Erstelle ein Backup (über meinen ga-report-downloader)
Erstelle ein Konzept zur Visualisierung der vorhandenen Daten.
Die Zeit rennt! Deine Deadline für die Vorbereitung und den Download ist der 1. Juli 2024. Schritt drei hat so viel Zeit, wie dein Team warten kann.
Als angemeldeter Benutzer kannst du hier Kommentare hinterlassen.
Das kommt darauf an ist keineswegs eine Phrase, um eine Frage möglichst schnell loszuwerden. Es ist ein sinnvolles Werkzeug, von dem beide Seiten nachhaltig profitieren können.
Der Hype um KI Tools ist so präsent wie nie. Immer mehr Aufgaben können von einer KI übernommen werden . Auch in der Berichterstattung liest man immer häufiger, dass KI Durchbrüche in der Softwareentwicklung erzielt.
Die wohl kostbarste Variable im Leben eines Softwareentwicklers ist Zeit. Ich werde dir in diesem Beitrag zeigen du mit Automatisierung Zeit für die wirklich wichtigen Dinge findest.
300, 1800, 3600, 86400, 604800: Als erfahrener Entwickler weißt du natürlich sofort, wofür diese Zahlen stehen, oder? Klingt "Duration.seconds(10)" besser für dich?