Die häufigste Frage an einen Backtest lautet: Ist das Ergebnis echt, oder ist mein Backtest Zufall? Wir haben in den letzten Wochen vier eigene Untersuchungen abgebrochen. Nicht, weil uns die Lust ausging — sondern weil bei jeder eine Regel gegriffen hat, die vorher festgelegt war. Vier Studien, vier verschiedene Regeln. Das ist der Grund für diesen Text: nicht die vier Fehlschläge, sondern die vier Regeln.
Der Reihe nach. Jede Regel bekommt den Fall, an dem sie gefeuert hat.
Regel 1: Vergleiche die Strategie mit einem Zufallsläufer, der genauso oft handelt
Wir wollten wissen, ob man mit einer Rotation zwischen Altcoin, Bitcoin und Dollar am Ende mehr Bitcoin besitzt als jemand, der einfach nichts tut. Die Idee ist verbreitet, und sie klingt vernünftig: in der Altcoin-Saison den Altcoin halten, sonst Bitcoin, im Absturz raus.
Gemessen wurde über neun Paare und fünf Signal-Intervall-Kombinationen, also 45 Zellen, von September 2017 bis Juni 2026. Wir werten nur die 30 Zellen aus, in denen mindestens 30 Trades zusammenkommen — unter 30 ist es bei uns eine Anekdote, kein Ergebnis. Der Vergleichsmaßstab ist der einfachste, den es gibt: einfach Bitcoin halten und nichts tun. Das ist die 1,00.
Herausgekommen ist ein Median von 0,86. Wer die Rotation gefahren hat, besitzt am Ende rund 14 Prozent weniger Bitcoin als jemand, der neun Jahre lang gar nichts getan hat. Vor Kosten stünde da 1,36 — die Gebühren fressen den Rest. Bei 224 Wechseln im Median ist das kein Nebeneffekt, das ist die Mechanik: der Abschlag zwischen brutto und netto liegt je Zelle im Median bei 20 Prozent und geht im schlimmsten Fall auf 64 Prozent hoch.
Ein Teil trägt trotzdem: gegen das Halten des Altcoins selbst gewinnt die Rotation deutlich, 0,86 gegen 0,23. Der genaueste Satz dazu ist aber unangenehm: sie schützt vor dem Altcoin — schlechter, als ihn gar nicht erst zu kaufen.
Und jetzt die Regel. In 14 von 30 Zellen schlägt die Rotation das schlichte Halten. Fast die Hälfte. Damit könnte man arbeiten. Deshalb läuft neben jeder Studie ein Placebo: derselbe Handel, dieselbe Anzahl Wechsel, dieselben Gebühren, dieselben Zeitanteile in jedem Zustand — nur der Zeitpunkt ist zufällig gewürfelt. 200 solcher Zufallsläufe pro Zelle.
Das Ergebnis: im Median erreichen 12 Prozent dieser Zufallsläufe das, was unsere Regel erreicht. Gemessen wurde damit nicht die Regel, sondern schlicht, wie lange man im Altcoin war. Das Timing hat nichts beigetragen.
Und eine Falle, die fast zugeschnappt wäre. Eine einzelne Zeile sah hervorragend aus: ema_cross auf Tagesbasis, Median 3,09 — also das Dreifache von Nichtstun —, sechs von neun Paaren über dem Halten, und der Placebo-Wert bei 0,04. Nach jeder üblichen Lesart ist das signifikant. Hätten wir diese Zeile gezeigt, wäre daraus eine Produktseite geworden.
Dagegen rechnet die letzte Prüfung, der Deflated Sharpe Ratio. Der fragt nicht „ist diese Zahl gut?", sondern „wie viele Varianten hast du probiert, bevor du diese gefunden hast?". Wir haben 45 probiert. Wer 45 Kombinationen testet und die beste berichtet, findet fast immer etwas. Von den 30 ausgewerteten Zellen besteht diese Prüfung keine einzige — auch die schöne nicht.
Die ganze Messung steht hier: Mehr Bitcoin durch Altcoin-Rotation? 45 Tests, ein Ergebnis.
Regel 2: Schreib die Regeln auf, bevor du die Zahlen siehst
Der Wyckoff-Spring ist ein bekanntes Chartmuster: Der Kurs fällt unter eine Unterstützung, es sieht nach Ausbruch nach unten aus, und dann dreht er sofort wieder hoch. Die Lesart lautet, dass hier große Adressen die Stopps der Kleinanleger einsammeln, bevor es aufwärts geht.
Das Problem an solchen Mustern ist nicht, dass sie nicht existieren. Das Problem ist, dass ihre Definition weich ist. Wie weit unter die Unterstützung? Wie schnell muss die Rückkehr kommen? Was ist überhaupt eine Unterstützung? Wer diese Fragen nach dem ersten Blick auf die Ergebnisse beantwortet, findet immer eine Kombination, die funktioniert.
Deshalb haben wir die Antworten vorher veröffentlicht — als eigenen Beitrag drei Tage vor dem Ergebnis. Darin stehen alle Schwellen, die Definition von Bulle und Bär, die Frage, wie mehrfach getroffene Tage gezählt werden, und die Kostenannahme. Das ist der Punkt: Der Text ist datiert und stand vor der ersten Zahl.
Dann wurde gerechnet. Zehn Paare, keine Datenlücken, 395 Rohereignisse, nach Entdopplung 332.
Der einzige Effekt, der überhaupt aus dem Rauschen ragt, zeigt in die falsche Richtung: Fünf Tage nach einem Spring liegt die Rendite um rund 1,2 Prozentpunkte unter dem allgemeinen Aufwärtstrend, und dieser Bereich liegt vollständig unter der Null. Über zwanzig Tage verblasst er zu nichts.
Der entscheidende Vergleich ist aber ein anderer. Wir haben dieselbe Messung mit einem billigen Ersatzsignal wiederholt — ein simpler Oszillator, kein Chartmuster, 312 Ereignisse. Die Unsicherheitsbereiche von Spring und Ersatzsignal überlappen auf allen drei Horizonten. Im Klartext: Die aufwendige Strukturerkennung liefert nichts, was ein trivialer Indikator nicht auch liefert.
Eine dritte, strengere Variante brachte 20 Ereignisse zusammen. Zwanzig. Darüber sagen wir nichts, und zwar unabhängig davon, wie das Ergebnis aussieht.
Das vollständige Ergebnis mit allen Zahlen.
Regel 3: Eine Zelle mit drei Beobachtungen wird nicht gerechnet
Die dritte Studie hat als einzige der vier keinen eigenen Beitrag, deshalb hier vollständig.
Wir wollten zwei Dinge wissen. Erstens: Folgt auf eine ruhige Phase im Bitcoin-Kurs eine größere Bewegung? Zweitens: Wenn ja, in welche Richtung — und hängt das davon ab, ob wir uns im Bullen- oder Bärenmarkt befinden?
Datenbasis waren 5.849 Handelstage von Juli 2010 bis Juli 2026. Als „ruhig" galt ein Tag, an dem die Schwankung der letzten 30 Tage unter dem Mittelwert der letzten zwei Jahre lag — und zwar streng aus Sicht dieses Tages, ohne Blick in die Zukunft. So kamen 49 Episoden zusammen, 47 davon mit vollständigem Beobachtungsfenster.
Frage eins ist beantwortet, und die Antwort lautet nein. 30, 90 und 180 Tage nach dem Beginn einer ruhigen Phase stand die Schwankung im Median praktisch genauso hoch wie am Anfang. Ungefähr die Hälfte der Episoden ging in die eine Richtung, die andere Hälfte in die andere. Auf ruhige Phasen folgt keine systematische Ausweitung.
Was den Fall interessant macht, ist die Vorgeschichte. Bevor die Studie lief, hatten wir fünf Beispiele von Hand angeschaut. In fünf von fünf kam nach der Ruhe eine große Bewegung. Ein klares Muster, dachten wir. Über 47 Episoden blieb davon nichts übrig. Fünf Fälle zeigen fast immer ein Muster — das ist keine Aussage über den Markt, sondern über die Zahl fünf.
Frage zwei konnten wir nicht beantworten, und das ist der eigentliche Befund. Um die Richtung nach Marktphase zu trennen, braucht man ruhige Phasen im Bullenmarkt und im Bärenmarkt. Vorhanden waren 34 über dem langfristigen Schnitt und 3 darunter.
Drei. Unsere Regel verlangt 30 pro Zelle, also wurde nicht gerechnet.
Der naheliegende Einwand ist, dass die Bedingungen zu streng waren. Wir haben es geprüft: Lockert man die Abstandsregel so weit, dass 94 statt 47 Episoden herauskommen, steht das Verhältnis bei 69 zu 7. Es gibt keine Einstellung, bei der die Frage beantwortbar wird — und der Grund ist nicht Pech, sondern der Markt selbst. Ruhige Phasen unter dem langfristigen Schnitt kommen praktisch nicht vor. Bärenmärkte sind laut.
Das ist ein besseres Ergebnis als eine Zahl. „Nicht beantwortbar, und hier ist der strukturelle Grund" ist überprüfbar. Eine Zahl aus drei Beobachtungen wäre es nicht.
Regel 4: Miss zuerst, wie stark deine eigenen Messentscheidungen wackeln
Der vierte Fall ist anders als die drei anderen, und deshalb steht er am Schluss. Hier ist keine Studie gescheitert. Hier hat sich die Frage aufgelöst.
Ausgangspunkt: Auf Dreitageskerzen lieferten fünf Strategien die besten Werte. Die Frage lag nahe — was ist an drei Tagen besonders? Bevor wir darauf ein Produkt bauten, wollten wir eine Sache klären.
Dreitageskerzen entstehen nicht am Markt. Wir bauen sie aus Tageskerzen zusammen, indem wir je drei Tage in einen Topf werfen. Die Frage ist nur: Wo fängt der erste Topf an? Bei uns fängt er dort an, wo er beim 1. Januar 1970 angefangen hätte — dem Nullpunkt der Computerzeitrechnung. Das ist eine bewusste Entscheidung mit einem guten Grund: alle Paare bekommen dieselben Grenzen. Aber es ist eine von drei möglichen Ausrichtungen, und weder der Markt noch die Methode hat sie gewählt.
Also haben wir alle drei gerechnet. Ergebnis: Das Vorzeichen kippt in keinem einzigen Fall — der Effekt ist echt, alle fünf Strategien bleiben in allen drei Ausrichtungen deutlich positiv. Aber die Größe wandert um durchschnittlich 6,66 Prozentpunkte, bei einer Strategie um 12,30 auf einer Basis von rund 50. Ein knappes Viertel der Schlagzeile hängt daran, wo wir den ersten Topf aufgemacht haben. Die Zahl der Trades bleibt dabei fast gleich — es sind dieselben Trades zu anderen Preisen.
Und damit hatten wir zum ersten Mal ein Maß dafür, wie groß Unterschiede allein durch willkürliche Messentscheidungen werden. Das hat die Ausgangsfrage sofort erledigt: Der Abstand zwischen Zwei- und Dreitageskerzen beträgt 4,40 Prozentpunkte. Er liegt unter dem eigenen Rauschen. Es gab nichts zu erklären.
Aus derselben Messreihe stammt noch eine Lehre, die uns seither begleitet. Fünf Strategien zeigten quer durch alle Ansichten einen Vorsprung von 18 bis 24 Prozentpunkten gegenüber dem einfachen Halten. Nach Bitcoin und Rest getrennt sah es anders aus: Bei Bitcoin, wo Halten stark positiv war, lagen dieselben Strategien 10 bis 24 Prozentpunkte darunter. Bei den übrigen Paaren, wo Halten 66 Prozent im Jahr verlor, verdiente die Strategie ungefähr nichts — und lag damit 13 Punkte vorne.
Der ganze Vorsprung war die Schlechtigkeit der Altcoins. Ein Vorsprung gegen einen Vergleichswert ist nur lesbar, wenn dieser Wert danebensteht. Steht er bei minus 54 Prozent, dann heißt „plus 23 Punkte" nicht „gute Strategie", sondern „kauf das nicht".
Was die vier Fälle gemeinsam haben
Eine kleine Stichprobe zeigt fast immer ein Muster. Fünf handverlesene Vola-Beispiele: fünfmal Ausweitung. Eine von 45 Rotations-Zellen: dreifacher Ertrag bei sauber aussehendem Zufallstest. Zwanzig Wyckoff-Ereignisse in der strengsten Variante: da steht bestimmt irgendeine Zahl.
Alle drei sehen aus wie ein Befund. Keiner davon ist einer.
Deshalb steht die Regel jeweils vor dem Ergebnis. Nicht weil wir besonders streng sein wollen, sondern weil eine Regel, die man nach dem Blick auf die Zahlen aufstellt, keine Regel ist, sondern eine Begründung.
Was wir damit nicht sagen
Vier Punkte, die im Text nicht untergehen sollen.
„Ruhig" war bei uns weich definiert. Ein Tag galt als ruhig, wenn die Schwankung unter dem Mittelwert der letzten zwei Jahre lag — das trifft auf 51,5 Prozent aller Tage zu. Also auf jeden zweiten. Die schärfere Frage, ob auf ungewöhnlich ruhige Phasen etwas folgt, haben wir nicht beantwortet. Sie ist offen, und sie wäre eine neue Untersuchung, keine nachgezogene Schwelle.
Ein Nullbefund ist kein Beweis der Abwesenheit. Er sagt: Mit dieser Definition, auf diesen Daten, in diesem Zeitraum war nichts zu sehen. Eine andere Definition kann etwas anderes finden. Deshalb liegen die Definitionen offen.
Die Rotation ist nicht widerlegt, sie ist ungeprüft geblieben. Was gemessen wurde, ist eine bestimmte Regelfamilie auf neun Paaren. Ein anderes Signal kann anders ausfallen — es müsste nur denselben Zufallstest bestehen.
Wir behaupten nicht, dass diese vier Regeln reichen. Sie sind die, die bei uns bisher gefeuert haben.
Was Backtesting Arena damit macht
Die vier Regeln sind bei uns nicht Vorsatz, sondern eingebaut. Unter 30 Trades wird ein Ergebnis als Anekdote markiert, nicht als Ergebnis. Jede Renditezahl bekommt ihren Vergleichswert im selben Zeitfenster daneben — auch wenn er unbequem ist. Und wo eine Frage strukturell nicht beantwortbar ist, steht das dort statt einer Zahl.
Wie das im Produkt aussieht, steht in Warum ehrliches Backtesting anders aussieht. Wie wir mit einem Vergleichswert umgegangen sind, der uns selbst um die Ohren geflogen ist, steht in Baseline im Backtest.
Häufige Fragen
Was ist ein Placebo-Test bei einer Handelsstrategie? Man lässt einen Zufallsläufer gegen die Strategie antreten, der genauso oft handelt, genauso lange investiert ist und dieselben Gebühren zahlt — nur die Zeitpunkte sind gewürfelt. Schlägt die Strategie diesen Zufallsläufer nicht deutlich, hat man die Marktbeteiligung gemessen, nicht die Regel.
Wie viele Trades braucht ein Backtest mindestens? Wir setzen die Grenze bei 30 und behandeln alles darunter als Anekdote. Das ist keine magische Zahl, sondern eine Konvention — aber sie muss vor der Messung feststehen, sonst wird sie zum Werkzeug, um unbequeme Ergebnisse wegzudefinieren.
Was ist der Deflated Sharpe Ratio? Eine Korrektur dafür, wie viele Varianten man ausprobiert hat. Wer 45 Kombinationen testet, findet fast sicher eine gut aussehende. Der DSR rechnet gegen, wie viele Versuche nötig waren, und lässt von unseren 45 Rotations-Varianten keine einzige stehen.
Warum veröffentlicht ihr gescheiterte Studien? Weil die Auswahl sonst das Ergebnis verzerrt. Wer nur zeigt, was funktioniert hat, produziert bei den Lesern genau den Denkfehler, den er bei sich selbst vermeiden will. Und weil die Regel, an der etwas scheitert, oft mehr wert ist als der Befund gewesen wäre.
Heißt „kein Effekt gefunden", dass es keinen gibt? Nein. Es heißt, dass mit dieser Definition auf diesen Daten keiner sichtbar war. Deshalb stehen die Definitionen im Text — damit jemand mit einer besseren Definition nachrechnen kann.
Warum ist bei euch ein Vergleichswert Pflicht? Weil eine Rendite ohne ihn nicht lesbar ist. Plus 23 Prozentpunkte gegenüber einem Vergleichswert klingt gut — wenn dieser Vergleichswert bei minus 54 Prozent steht, ist die Aussage aber nicht „gute Strategie", sondern „dieses Asset nicht kaufen".
Quellen: eigene Messungen. Rotationsstudie (45 Zellen, Sept. 2017 – Juni 2026), Wyckoff-Spring-Auswertung (10 Paare, 332 entdoppelte Ereignisse), Vola-Episoden-Protokoll (5.849 Handelstage, Juli 2010 – Juli 2026), Gitter-Phasen-Messung (BTCUSDT, 1.089 Dreitageskerzen, 2019–2026). Die Messprotokolle liegen den jeweils verlinkten Beiträgen zugrunde.
Dieser Beitrag beschreibt Messverfahren und ihre Ergebnisse. Er ist keine Anlageberatung und keine Empfehlung für oder gegen ein bestimmtes Instrument oder Vorgehen.