Statistisch signifikantes A/B-Testing für Produktfeeds

Zu messen, ob sich die Optimierungsmaßnahmen gelohnt haben, war schon immer eine der größten Herausforderungen der Produktfeed-Optimierung. Einen Produkttitel anzupassen, eine Produktbeschreibung mithilfe von KI umzuformulieren, ein Bild zu ändern oder Produktattribute neu zu organisieren, ist ziemlich einfach. Zu wissen, ob die Änderung die kommerzielle Performance tatsächlich verbessert hat – oder nur so aussah –, ist schwieriger.

Diese Frage wurde entwickelt, um die Feedoptimise A/B-Testing-Suite zu beantworten.

Direkt im Feedoptimise-Produktfeed-Managementsystem integriert, verbindet die A/B-Testing-Suite den Prozess der Feed-Transformation, das Durchführen von Experimenten, das Sammeln von Performance-Daten auf Artikelebene, das Treffen von Entscheidungen auf dieser Basis und das Implementieren der Gewinner in einen nahtlosen Workflow.

Anstatt Produkte einfach in zwei Segmente zu teilen und herauszufinden, welches der beiden bessere Ergebnisse in Bezug auf CTR, Conversion-Rate oder ROAS erzielt hat, entscheidet Feedoptimise, ob der Unterschied statistisch signifikant genug ist, um die Gewinner-Variante auszurufen.

Die Decision Engine von Feedoptimise berücksichtigt bei der Auswahl des Gewinners Faktoren wie statistische Konfidenz, Konfidenzintervalle, Mindest-Lift, Stichprobengröße, Experimentdauer, Conversion-Lag und Performance-Guardrails.

Sobald die Evidenz vorliegt, wird die Gewinner-Variante anschließend über einen kontrollierten und in der Vorschau prüfbaren Implementierungsprozess zurück in den Feed gebracht.

Das ist ein völlig neuer Ansatz für die Produktfeed-Optimierung, da Händler nicht mehr eine Änderung vornehmen und hoffen müssen, dass sie sich auszahlt, sondern die Hypothese testen und Änderungen umsetzen, die durch echte Ergebnisse belegt sind.

Was das neueste Release enthält

• Tests auf jedem Feed-Feld. Titel, Beschreibungen, Produkttypen, Kategorien, Bilder – jedes Ausgabeattribut in Ihrem Feed-Mapping.
• Zwei Experiment-Designs. Duplicate-Testing mit beiden Seiten, die gleichzeitig mit unterschiedlichen Artikel-IDs laufen. Rotational-Testing mit nur einer Artikel-ID und Wechsel der gesamten Population über Phasen hinweg.
• Ihre eigenen Performance-Daten. Verbinden Sie Google Ads, Google Analytics, Google Merchant Center, Shopify, WooCommerce, Magento, Centra, Facebook oder einen benutzerdefinierten Report.
• Eine Decision Engine mit Standardeinstellungen. 95% Konfidenz, 5% Mindest-Lift, mindestens 14 Tage, 5.000 Impressionen, 300 Klicks und 30 Conversions pro Seite, ein 7-tägiger Conversion-Lag und eine maximale Dauer von 60 Tagen.
• Urteile pro Artikel. Eine Tabelle, die zeigt, welche einzelnen Produkte genügend Evidenz gesammelt haben, um darauf zu handeln – getrennt vom Gesamtergebnis.
• Ein geprüfter Implementierungspfad. Gewinner gehen über einen vorab geprüften Snapshot in das Shared Override. An Ihrem Live-Feed werden keine Änderungen vorgenommen, bis Sie zustimmen.

Warum statistische Signifikanz bei Feed-Tests wichtig ist

Feeds laufen innerhalb der Auktion. Traffic-Volumina schwanken je nach Wochentag, Geboten der Wettbewerber, Budget-Pacing, Saisonalität und Google-Algorithmus-Updates. In diesem Kontext stellt ein CTR-Unterschied von 4% zwischen zwei Titelformaten für die meisten Kataloge kein aussagekräftiges Signal dar.

Trotzdem treffen Menschen Entscheidungen auf Basis dieser Unterschiede. Sie rollen ein Titelformat auf 40.000 SKUs aus, warten ein Quartal, während die Performance driftet, und wissen nicht, ob es überhaupt einen Effekt verursacht hat. Diese Entscheidung kostet nicht nur unnötigen Rollout-Aufwand, sondern vor allem wird die falsche Annahme in die nächsten Tests mitgenommen.

Es gibt hier drei Hauptursachen für Fehler.

1. Ein Ergebnis lesen, bevor die Information vorhanden ist. Empfehlungen für ergänzende Feed-Tests zur Titeloptimierung liegen häufig bei etwa 100 Klicks als ausreichend, um Schlussfolgerungen über den Trend zu ziehen. Das ist gut genug für CTR. Es reicht bei weitem nicht aus, um Aussagen über Conversion-Rate oder ROAS zu treffen – und so verlieren die meisten Feed-Teams Geld.
2. Eine Kennzahl in das Terrain einer anderen Kennzahl optimieren. Hängen Sie „Black Friday“ und „Free Gift“ an einen Titel an, und die CTR schießt in die Höhe. Die Conversion-Rate und der ROAS können jedoch abstürzen, weil der Titel nicht-kaufende Besucher auf die Website zieht. Eine Titeloptimierung, die nur auf eine Kennzahl fokussiert, erklärt hier einen falschen Sieg.
3. Den Test stoppen, wenn die Zahl gut aussieht. Tägliche Checks im Dashboard und das Stoppen des Tests, sobald ein Aufwärtssprung erreicht wird, erzeugen viele False Positives. Der frühe Test-Lift entsteht durch einen Random Walk. Stoppen Sie am Peak des Lifts, messen Sie den Peak des Lifts.

Feedoptimise kümmert sich um jeden dieser Punkte als eingebautes strukturelles Element.

Zwei experimentelle Methoden: Duplicate- und Rotations-Testing

Da unterschiedliche Commerce-Kanäle unterschiedliche Einschränkungen für Experimente mit sich bringen, verwendet Feedoptimise zwei verschiedene Testmethoden.

1. Duplicate A/B-Testing

Bei einem Duplicate-Experiment veröffentlicht Feedoptimise:

A – das alte Produkt, mit derselben alten ID und alten Werten.
B – ein dupliziertes Produkt, mit einer neuen vorhersehbaren ID und neuen getesteten Werten.

Dadurch können beide Varianten gleichzeitig Performance-Daten sammeln.

Der große Vorteil des gleichzeitigen Vergleichs im Experiment ist verfügbar, wenn das Ziel beide Produkt-IDs akzeptiert und Traffic auf beide Versionen leiten kann.

Zum Beispiel:

Old ID: 34130964
Old Title: Running Shoes
New ID: M-34130964
New Title: Men's Lightweight Running Shoes

Beide Produkte konkurrieren im selben Zeitraum, wobei Feedoptimise die Ergebnisse des Experiments zuordnet.

2. Rotations-A/B-Testing

Es gibt Ziele, bei denen doppelte Produkte nicht existieren dürfen.

In solchen Fällen kann Feedoptimise für das Experiment dieselbe ID beibehalten, sie aber zwischen den alten und neuen Werten rotieren lassen.

Die erste Phase kann die alte Version des Experiments verwenden. Danach folgt die neue Version.

Feedoptimise bietet an, Rotationen entweder zeitbasiert oder basierend auf akkumuliertem Kennzahlenvolumen (zum Beispiel Impressionen) durchzuführen.

Rotationen basierend auf akkumuliertem Kennzahlenvolumen sind besonders wertvoll, da das Experiment je nach ungefähr gleicher Menge an gesammelter Exposure rotieren kann.

Experimente mit echten Performance-Daten verbinden

Feedoptimise verknüpft Experimente mit item-level Reporting-Quellen, darunter:

Werbeplattformen, Analytics-Plattformen, Commerce-Plattformen und benutzerdefinierte Reporting-Dateien.

Je nach Account-Setup können Reporting-Quellen Folgendes umfassen:

Google Ads, Google Analytics, Google Merchant Center, Facebook/Meta-Reporting, Shopify, WooCommerce, Magento, und URL-basierte Custom-Reports.

Entscheidungsprozess

Zwischen „die getestete Linie ist höher“ und „Test gewinnt“ liegen sechs Faktoren.

1. Zunächst wird im Voraus eine primäre Kennzahl ausgewählt

Wählen Sie eine Kennzahl, die zur Hypothese passt: ROAS, Wert pro Klick, Wert pro Conversion, Conversion-Rate oder CTR. Der Auto-Selection-Algorithmus bevorzugt ROAS-basierte Kennzahlen auf Report-Ebene. Eine Kennzahl nachträglich so auszuwählen, dass sie die Variante begünstigt, ist der Weg, wie Teams künstlich Gewinne erzeugen.

Feedoptimise berechnet diese auf Basis der zugrunde liegenden additiven Rollen. Das Mapping Ihrer Quellspalten erfolgt in Bezug auf fünf semantische Rollen:

Aus diesen extrahiert die Engine CTR, Conversion-Rate, CPC, ROAS, Wert pro Klick und Wert pro Conversion. Das Mapping von Mengen in Zahlen ermöglicht eine valide Resampling-Analyse.

2. Ein Konfidenzintervall, nicht nur eine Zahl

Führen Sie einen Test zwei Wochen lang durch, und Sie erhalten eine einzelne Zahl: getestet hat 8% besser performt. Führen Sie den Test weitere zwei Wochen durch, und er liefert eine andere Antwort, da Klicks und Conversions nicht gleich verteilt sind.

Feedoptimise analysiert diese Unsicherheit. Die Engine wiederholt Ihren Test tausende Male auf Ihren echten täglichen Daten auf alle möglichen Arten und liefert Ihnen ein Intervall, in dem der wahre Lift möglicherweise liegt.

Observed lift:   +8%
95% CI:          +2% to +14%

Alle Werte in diesem Intervall sind positiv, daher gewinnt getestet.

Observed lift:    +8%
95% CI:           -3% to +18%

Gleiche Überschrift. Dieses Intervall enthält Null, daher könnte der Unterschied +18% oder -3% sein, und Ihre Daten erlauben es nicht, zwischen beiden zu unterscheiden. Die Schlussfolgerung bleibt unentschieden.

Das Konfidenzniveau bedeutet, wie zuverlässig die Daten eine bestimmte Richtung des Unterschieds bestätigen. Es ist nicht die Wahrscheinlichkeit des Profits eines Rollouts.

3. Ihr Mindest-Lift im Voraus festgelegt

Statistische Signifikanz und praktische Relevanz sind unterschiedliche Konzepte. Es könnte einen Lift von 0,4% im ROAS geben, der real ist, aber nicht wertvoll genug, um ihn katalogweit umzusetzen. Der Standard-Mindest-Lift beträgt 5%. Standard-Strenge verlangt, dass Null und Mindest-Lift überschritten werden. Die strikte Einstellung erfordert, dass das gesamte Intervall über dem Mindest-Lift-Schwellenwert liegt.

4. Sample-Gates auf beiden Seiten

Standardwerte sind 5.000 Impressionen, 300 Klicks und 30 Conversions pro Seite sowie mindestens 14 Tage.

Pro Seite macht einen Unterschied. Wenn ein Report sagt, Sie haben 10.000 Impressionen, sieht das gut aus, bis Sie sehen, dass 9.200 Impressionen zum Original-Ad-Set gehören. Das Gate bleibt korrekt im Status Waiting. Aggregierte Zahlen verschleiern genau diese Art von Information.

Gates pro Artikel arbeiten separat mit 1.000 Impressionen, 100 Klicks und 10 Conversions pro Seite. Es ist möglich, auf Report-Ebene eine solide Schlussfolgerung zu haben, während die meisten einzelnen SKUs im Stadium Insufficient Data wären. Das ist der Standardzustand eines Long-Tail-Katalogs.

5. Conversion-Lag

Bestellungen kommen nach Klicks. Conversion-Lag hält die jüngsten Tage aus der Entscheidungsstichprobe heraus, damit späte Conversions berücksichtigt werden. Der Standardwert beträgt sieben Tage, und Sie sollten ihn abhängig von der tatsächlichen Attributionsverzögerung Ihrer Plattform festlegen. Ein Test kann das Enddatum erreichen und dennoch auf Waiting for conversion lag stehen, was bedeutet, dass das System sich weigert, ein unvollständiges Datenset zu bewerten.

6. Guardrails

Guardrails kontrollieren ROAS, Conversion-Rate, CPC und Wert pro Klick während der Optimierung der primären Kennzahl. Das Scheitern eines Guardrails verhindert, dass eine getestete Version gewinnen kann. Ein typisches Beispiel ist das Ändern eines Titels, das die CTR um 12% erhöht, aber die Conversion-Rate um 20% senkt. Die primäre Kennzahl ist in Ordnung, aber das Guardrail erkennt das Problem und gibt ein Guardrail failed-Urteil statt Tested is winning.

Guardrails verhindern nicht, dass die Originalversion gewinnt. Das Beibehalten dessen, was Sie bereits haben, birgt keine zusätzlichen Risiken für Sie.

Mögliche Urteile

• Tested is winning
• Original is winning
• No decision yet
• Collecting data
• Waiting for minimum duration
• Waiting for exposure
• Waiting for conversion lag
• Guardrail failed
• Insufficient data

Sieben von neun Urteilen sind die Weigerung, eine Entscheidung zu treffen. Dieses Verhältnis ist das Ziel. „Es gibt keinen Gewinner“ ist ein gültiges Experimentergebnis, und ein Testing-Tool, das immer einen Gewinner produziert, ist nutzlos.

Produktentscheidungen: welche SKUs sich tatsächlich verbessert haben

Produktgewinne sind nicht immer universell über einen Test hinweg, sondern insgesamt nur positiv genug im Durchschnitt.

Der Tab Product decisions analysiert einzelne Produkte getrennt von der aggregierten Analyse, entweder auf Parent-Ebene mit hochgerollten Variantenmetriken oder als einzelne Parent-Original- zu Parent-Tested-Variantenpaare. Jede Zeile enthält einen Gewinner, einen Confidence-Score, einen Lift-Prozentsatz, die tatsächlichen Kennzahlen, einen Status, eine Guardrail-Bewertung und ob sie als Snapshot qualifiziert. Klicken Sie in eine Zeile, um die Basiskennzahlen für Original und Tested, ihr Verhältnis, das spezifische Gate für den Status und die Entscheidungshistorie zu sehen.

Genau hier finden selektive Rollouts statt. Wenden Sie den gewonnenen Testtitel nur auf die 340 Produkte an, die damit gewonnen haben, und lassen Sie die anderen Produkte so, wie sie sind.

Vom Urteil zum Live-Feed

Ein gewonnener Test verändert Ihren Feed nicht. Das Publishing läuft über drei geprüfte Schritte.

1. Snapshot. Entscheiden Sie, welche Tests ausgerollt werden sollen – mit Hilfe von Implement tested winners für einen selektiven Rollout, Save original winner decisions, um festzuhalten, was funktioniert hat, oder Apply whole-report decision, wenn ein Experiment als eine einzelne Entscheidung für alle geplant war.
2. Preview. Jeder Snapshot-Dialog führt zuerst einen Dry Run durch. Er informiert über die Anzahl der bewerteten Einheiten, qualifizierten Einheiten, Gewinner und deren Status, nicht zuordenbare Einheiten sowie ein Sample der Zeilen, die geschrieben werden. Einheiten, die nicht zuordnen können, enthalten keine erfassten Feldwerte für die ausgewählte Seite und werden daher beim Speichern übersprungen. Prüfen Sie diese Zeilen vor dem Speichern.
3. Override. Qualifizierte Zeilen werden in einem Shared Override gespeichert. Ein Override auf einen Feed anzuwenden ist ein separater Schritt im Feed Mapping und hat eine eigene Vorschauphase. Artikel, die nicht in einem Override enthalten sind, behalten ihren Feed-Wert.

Zwei Optionen sind erwähnenswert. Values to save ist unabhängig vom Winner-Filter: Ersteres bestimmt, welche Zeilen qualifiziert sind, und Letzteres, welche Seitenwerte geschrieben werden.

Jeder Rollout ist stets auditierbar und kann rückgängig gemacht werden. Bei einem wichtigen Feed verwenden Sie die Feed-Vorschau, bevor Sie ihn im Live-Feed deployen.

Feedoptimise versus andere Feed-Testing-Ansätze

Es sollte beachtet werden, dass nicht alle A/B-Testing-Funktionen dieselben Testmöglichkeiten bieten.

Der Prozess des Feed-Testings, der gut publiziert und bekannt ist, umfasst vier identische Schritte: Produkte in Segmente aufteilen, Inhalte ändern, Performance-Daten sammeln, Kennzahlen vergleichen. Feedoptimise erledigt alle oben genannten Schritte und geht weiter – es trifft die finale Entscheidung.

Hören Sie auf zu raten. Fangen Sie an zu testen.

Feed-Optimierung sollte nicht enden, sobald ein Titel, ein Bild oder ein Attribut erstellt ist – hier beginnt das Testing.

Mit Feedoptimise A/B-Testing können Händler und Agenturen ihre Produktdaten an der Realität testen, verifizieren, ob die Änderungen genügend Substanz haben, und qualifizierte Gewinner sicher in echte Feed-Optimierungs-Wins im Alltag überführen.

Starten Sie Ihre kostenlose Testversion oder Buchen Sie eine Demo