Audio-Kreativtests

Ein Audio-Kreativtest vergleicht zwei hörbare Fassungen anhand einer vorab festgelegten Frage. Legen Sie fest, was sich zwischen den Fassungen ändert, wie beide ausgespielt werden und welches Ergebnis für die Entscheidung zählt.

Ein höherer Messwert allein macht noch keinen Gewinner.

Eine entscheidbare Frage stellen

„Welcher Spot ist besser?“ ist zu offen. Fragen Sie beispielsweise, ob bei demselben Angebot eine sachliche Erklärung oder eine persönliche Host-Erzählung zu mehr qualifizierten Anfragen führt. Die Antwort gilt zunächst nur für die getesteten Fassungen und Bedingungen.

Wählen Sie vor dem Start eine Hauptgröße, die zur Frage passt: etwa korrekt verstandene Angebotsbedingungen in einer Befragung oder erfolgreich abgeschickte Anfragen. Legen Sie Zählweise, Beobachtungszeitraum und einen für die Entscheidung relevanten Unterschied fest.

Weitere Kennzahlen können den Befund erklären; sie sollten die Hauptgröße nicht nachträglich ersetzen.

Fassungen und Ausspielung vergleichbar halten

Prüfen Sie beide Aufnahmen auf richtige Produktangaben, wesentliche Bedingungen und Verständlichkeit. Halten Sie Angebot, Werbeplatz, Zielgruppe und Zeitraum möglichst gleich, soweit diese Merkmale nicht selbst getestet werden.

Ändern sich neben dem Wortlaut auch Stimme, Länge oder Zielweg, bewerten Sie zwei Gesamtfassungen. Schreiben Sie nicht einen einzelnen Bestandteil als Ursache des Unterschieds fest.

Eine zufällige Zuteilung innerhalb vergleichbarer Sendungen oder anderer geeigneter Gruppen kann den Vergleich stärken. Fragen Sie den Anbieter, ob sie für Ihre Buchung möglich ist und welche Aufschlüsselung Sie erhalten.

Spotify beschreibt für Ad Studio eine zufällige, annähernd gleichmäßige Rotation innerhalb eines Ad Sets. Die dort dokumentierte Berichtsansicht weist Kennzahlen jedoch nur auf Ad-Set-Ebene aus. Die Rotation allein liefert somit noch keine Auswertung je Anzeige.

Ist eine solche Zuteilung nicht möglich, können Sie Fassungen nach einem vorher festgelegten Plan abwechseln. Halten Sie Sendungen und Zeitabschnitte fest. Unterschiede zwischen diesen Abschnitten schränken die Aussage ein.

Zufällige Zuteilung vs. fester Plan – Vor- und Nachteile

Störfaktoren berücksichtigen

Neben der getesteten Fassung können etwa Sendung, Tageszeit oder Hörumfeld das Ergebnis beeinflussen.

Das NIST/SEMATECH-Handbuch empfiehlt, wichtige kontrollierbare Störfaktoren als Blöcke zu behandeln: Innerhalb eines möglichst einheitlichen Blocks werden die Testfassungen verglichen, während sich die übrigen Bedingungen nicht ändern.

Legen Sie vorab fest, welche Faktoren Sie erfassen können, und gleichen Sie die Fassungen innerhalb dieser Gruppen aus. Jede Fassung sollte in jeder Ausprägung eines berücksichtigten Faktors gleich häufig vorkommen.

Was sich nicht kontrollieren lässt, kann durch zufällige Zuteilung weniger systematisch mit einer Fassung zusammenfallen; beides ersetzt aber keine Prüfung der tatsächlichen Ausspielung.

Rotationslogik und Zeitplan festlegen

Eine gleichmäßige, zufällige Rotation ist nicht dasselbe wie eine feste Reihenfolge. Bei sequenzieller Rotation erhält die erste Anzeige die größte Verteilung; spätere Anzeigen werden seltener ausgespielt, weil nicht alle Hörenden die ganze Folge erleben.

Für einen direkten Fassungsvergleich kann das die Liefermengen ungleich machen.

Bei gewichteter Rotation richten sich die Auslieferungen nach den festgelegten Anteilen; deren Summe muss bei Spotify genau 100 Prozent betragen. Prüfen Sie deshalb, ob die gewählte Logik zur Vergleichsfrage passt, und dokumentieren Sie die Einstellung.

Wird eine Anzeige hinzugefügt, wird die Rotationseinstellung zurückgesetzt und muss erneut ausgewählt werden.

Planen Sie außerdem den Start und das Ende präzise. Bei Spotify beginnen und enden Anzeigengruppen standardmäßig um Mitternacht an den gewählten Tagen; eine abweichende Uhrzeit lässt sich über die Zeitfelder einstellen. Die Zeiten richten sich nach der lokalen Zeitzone, in der die Anzeigengruppe erstellt wird.

Signale richtig auswerten

Prüfen Sie zuerst, welche Fassung tatsächlich wo und wann lief. Vergleichen Sie Reaktionen nur bei gleicher Ereignisdefinition und nachvollziehbarer Zuordnung. Eine gemeinsame Kampagnensumme lässt sich nicht verlässlich nachträglich auf zwei Fassungen verteilen.

Zu wenige geeignete Reaktionen oder eine ungeeignete Messgröße können eine Entscheidung offenlassen. Halten Sie dann genau diese Grenze fest, bevor Sie eine Fassung übernehmen oder einen neuen Test planen.

Für die Auswertung kann eine einfache grafische Prüfung mit einem statistischen Verfahren kombiniert werden. Das NIST/SEMATECH-Handbuch weist darauf hin, dass unterschiedliche Schlussfolgerungen aus beiden Ansätzen ein Anlass sind, die Voraussetzungen des Verfahrens zu prüfen, statt den Widerspruch zu übergehen.

Lieferung und Reaktion getrennt betrachten

Ein Ausspielungsbericht kann zunächst zeigen, ob die Fassungen vergleichbar ausgeliefert wurden. Spotify definiert Impressionen als Zahl der ausgespielten Anzeigen innerhalb der Anzeigengruppe, Reichweite als Zahl der einzelnen Personen und Frequenz als durchschnittliche Zahl der Kontakte pro Person.

Diese Werte beschreiben die Lieferung, nicht automatisch einen Unterschied in der Wirkung.

Auch Wiedergabewerte sind präzise einzuordnen: Die Abschlussrate bezeichnet den Anteil der ausgespielten Anzeigen, die bis zum Ende liefen. Spotify weist außerdem Anteile aus, die mindestens 25, 50, 75 oder 100 Prozent abgespielt wurden.

Solche Kennzahlen können Hinweise auf die Ausspielung geben, beantworten aber nicht von selbst, ob die Hauptgröße des Tests besser ausfällt.

Unsicherheit des Befunds einordnen

Ein gemessener Unterschied aus einer Stichprobe ist eine Schätzung und kann bei einer anderen Stichprobe anders ausfallen. Das NIST/SEMATECH-Handbuch unterscheidet Punktschätzungen von Intervallschätzungen: Ein Intervall macht die Unsicherheit sichtbar und gibt an, innerhalb welcher Grenzen der wahre Parameter bei einem festgelegten Vertrauensniveau liegen kann.

Ein Hypothesentest beantwortet eine andere Frage als ein Intervall: Er prüft, ob die Daten gegen eine konkrete Annahme sprechen. Wird eine Annahme nicht verworfen, ist das kein Beweis dafür, dass sie wahr ist.

Berichten Sie daher nicht nur, welche Fassung den höheren Messwert hatte, sondern auch, wie unsicher dieser Unterschied ist.

Testprotokoll für die Entscheidung sichern

Halten Sie vor dem Start in einem kurzen Protokoll fest, welche Fassungen in welchen Blöcken oder Zeitabschnitten liefen, welche Rotation verwendet wurde und wann die Auswertung endet. Ergänzen Sie nach dem Test die gelieferten Mengen, die Hauptgröße und ihre Definition.

So lässt sich erkennen, ob ein scheinbarer Unterschied auch mit ungleicher Lieferung oder abweichenden Bedingungen zusammenhängt.

Ordnen Sie den Befund anschließend an Ihrer vorab festgelegten Entscheidungsschwelle ein. Ein klarer, ausreichend präziser Unterschied kann die Wahl zwischen den getesteten Fassungen stützen; ein unsicherer oder praktisch zu kleiner Unterschied beantwortet die Frage nicht eindeutig. Begrenzen Sie die Schlussfolgerung auf genau diese Fassungen und Testbedingungen.