[{"data":1,"prerenderedAt":4797},["ShallowReactive",2],{"story:de:de/data-science/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer":3,"icon:chevron-right":2843,"icon:envelope":2844,"icon:linked-in":2845,"icon:cross":2846,"blog-teaser::/data-science/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer:1":2847},[4,901],{"story":5,"cv":720,"rels":721,"links":893},{"name":6,"created_at":7,"published_at":8,"updated_at":9,"id":10,"uuid":11,"content":12,"slug":713,"full_slug":714,"sort_by_date":118,"position":715,"tag_list":716,"is_startpage":81,"parent_id":121,"meta_data":118,"group_id":717,"first_published_at":718,"release_id":118,"lang":124,"path":118,"alternates":719,"default_full_slug":118,"translated_slugs":118},"Settings","2025-02-26T17:11:48.854Z","2025-12-11T08:40:21.040Z","2025-12-11T08:40:21.063Z",632563359,"83ad7de7-b46f-48d7-9edc-3d89061e3d4f",{"_uid":13,"footer":14,"header":126,"component":499,"blog_read_more":500,"error_page_body":501,"error_page_head":671,"blog_author_head":687,"blog_bottom_head":701,"blog_sidebar_cta":702,"error_page_title":679,"blog_reading_time":703,"blog_bottom_buttons":704,"error_page_subtitle":685,"blog_meta_label_author":709,"blog_table_of_contents":710,"blog_meta_label_reading_time":711,"blog_meta_label_reading_minutes":712},"95ccfc97-3659-4608-8990-0248adfa1881",{"name":15,"created_at":7,"published_at":16,"updated_at":17,"id":18,"uuid":19,"content":20,"slug":116,"full_slug":117,"sort_by_date":118,"position":119,"tag_list":120,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":122,"first_published_at":123,"release_id":118,"lang":124,"path":118,"alternates":125,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Footer","2026-10-07T08:04:25.947Z","2026-10-07T08:04:25.973Z",632563360,"f91caf23-4392-4247-a497-5a33b5f8b0e2",{"cta":21,"_uid":45,"logo":46,"links":52,"component":82,"copyright":83,"logo_link":84,"legal_links":87},[22],{"_uid":23,"buttons":24,"caption":38,"component":43,"caption_position":44},"647620f2-206f-41a8-a066-1a9bcfafbedc",[25],{"_uid":26,"icon":27,"link":28,"text":34,"intent":35,"component":36,"icon_position":37},"290b992e-f2fa-47b9-805d-e59ebaab0660","chevron-right",{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},"dda7b895-91ef-4e7f-a501-501bafa8bc2b","","story","multilink","de/newsletter","Know-how ins Postfach","primary","util-button","leading",{"type":39,"content":40},"doc",[41],{"type":42},"paragraph","item-action-buttons","center","63d8b1e8-ed60-47da-be57-40b9eed794a0",{"id":47,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":48,"copyright":30,"fieldtype":49,"meta_data":50,"is_external_url":51},22764167,"https://a.storyblok.com/f/328018/236x25/9dd018f217/logo-bk.svg","asset",{},false,[53,60,66,72],{"_uid":54,"link":55,"text":58,"component":59},"31741abf-7693-4e4f-9502-d2c322e40b4f",{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},"ceb695b8-32ca-4bcc-b418-0148c2a00dc8","de/conversion-optimierung","Conversion-Optimierung","util-link",{"_uid":61,"link":62,"text":65,"type":30,"component":59},"e0155237-ab2f-4584-8cd8-2bfd210973c1",{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},"5df5215d-7c85-44aa-a463-137a895ed5f2","de/personalisierung","Personalisierung",{"_uid":67,"link":68,"text":71,"component":59},"2fc5d177-de04-4a95-b66f-83dd15c604e7",{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},"8c7b080c-9822-4a6e-ac1a-d3ac1930d644","de/kontakt","Kontakt",{"_uid":73,"link":74,"text":78,"component":59},"a84a6018-72c7-403e-a16d-9033ec862d46",{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":77},"d678066e-5183-42ca-9740-53aef05840bc","de/ueber-uns/karriere",{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},"Karriere",61774610481128,"karriere",true,"core-footer","© 2026 konversionsKRAFT AG",{"id":85,"url":30,"linktype":31,"fieldtype":32,"cached_url":86},"f74c775f-6663-471d-8909-a2c89001a39f","de/",[88,94,100,106,112],{"_uid":89,"link":90,"text":93,"component":59},"de414811-3677-47d5-9976-0b0ffcbf33cb",{"id":91,"url":30,"linktype":31,"fieldtype":32,"cached_url":92},"ff78948e-62fc-4366-bb99-35a4e445f7b7","de/datenschutzerklaerung","Datenschutz",{"_uid":95,"link":96,"text":99,"component":59},"61a55edc-2e44-4c34-85ee-592092d40fff",{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},"db985f58-3c1f-4682-a22c-1e309a879bfc","de/allgemeine-geschaeftsbedingungen","AGB",{"_uid":101,"link":102,"text":105,"component":59},"9dd6dd9c-8099-46cb-94eb-7a2eff25cafb",{"id":103,"url":30,"linktype":31,"fieldtype":32,"cached_url":104},"8844a87b-92ca-4340-ad83-45623ec51d28","de/impressum","Impressum",{"_uid":107,"link":108,"text":111,"component":59},"1c9552b5-81f7-49e0-b7c7-7f78e48fe757",{"id":109,"url":30,"linktype":31,"fieldtype":32,"cached_url":110},"c180fc5b-1552-4f9a-8096-7522c2fc74b8","de/barrierefreiheitserklaerung","Barrierefreiheitserklärung",{"_uid":113,"link":114,"text":115,"component":59},"7c9e9042-51c1-4e2d-b44e-43b819a28273",{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},"Cookies","footer","de/_settings/footer",null,-30,[],632563353,"265f0d28-1033-4059-a49d-3cbad3c63dd2","2025-05-05T09:35:19.813Z","default",[],{"name":127,"created_at":7,"published_at":128,"updated_at":129,"id":130,"uuid":131,"content":132,"slug":492,"full_slug":493,"sort_by_date":118,"position":494,"tag_list":495,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":496,"first_published_at":497,"release_id":118,"lang":124,"path":118,"alternates":498,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Header","2026-10-07T11:10:10.189Z","2026-10-07T11:10:10.205Z",632563358,"2f01a7ab-082d-45e9-adbe-b223c4ba9feb",{"_uid":133,"link":134,"logo":137,"links":141,"buttons":487,"component":491},"5ff93704-f742-47ed-92db-e5b13f03564b",{"id":30,"url":135,"linktype":136,"fieldtype":32,"cached_url":135},"https://www.konversionskraft.de","url",{"id":138,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":139,"copyright":30,"fieldtype":49,"meta_data":140,"is_external_url":51},21395391,"https://a.storyblok.com/f/328018/300x31/362acdb1c8/kk-logo-white.svg",{},[142,190,244,293,432,443],{"_uid":143,"link":144,"links":147,"title":188,"component":189},"b2cf1eaa-6274-4de9-bf12-eec7e5df59f9",{"id":145,"url":30,"linktype":31,"fieldtype":32,"cached_url":146},"147973fb-7b43-4d6d-a404-ab2c0678fbc2","de/loesungen/",[148,153,158,164,170,176,182],{"_uid":149,"link":150,"text":58,"component":59},"3a7093f2-25df-4ed5-b335-805febe74512",{"id":151,"url":30,"linktype":31,"fieldtype":32,"cached_url":152},"c9021c39-1839-49c7-98c4-4014de8cfe28","de/loesungen/conversion-optimierung",{"_uid":154,"link":155,"text":65,"component":59},"159678a7-7dd0-460b-b9d9-8741afdc2b23",{"id":156,"url":30,"linktype":31,"fieldtype":32,"cached_url":157},"3f593847-2edc-4128-9330-e5bd0c0cdeb8","de/loesungen/personalisierung-ueberblick",{"_uid":159,"link":160,"text":163,"component":59},"4214b02c-039c-4a9c-b545-3cbce68afe82",{"id":161,"url":30,"linktype":31,"fieldtype":32,"cached_url":162},"2f790b38-6102-44bf-be14-30eb612116b7","de/loesungen/redesign-absicherung","Relaunch-/Redesign-Absicherung",{"_uid":165,"link":166,"text":169,"component":59},"328ea4fc-4b3f-47ec-b944-44bd93652d5e",{"id":167,"url":30,"linktype":31,"fieldtype":32,"cached_url":168},"556166c5-b13e-4cb7-9f29-b3ee70e89da5","de/loesungen/mehr-marketingeffizienz","Online-Marketing & Kampagnenoptimierung",{"_uid":171,"link":172,"text":175,"component":59},"836ef4eb-2dc4-419e-b607-99f8e0a55eea",{"id":173,"url":30,"linktype":31,"fieldtype":32,"cached_url":174},"f0d0c226-175e-437e-9ec3-2a774d53176b","de/loesungen/kundenbindung-loyalty","Kundenbindung & Loyalty",{"_uid":177,"link":178,"text":181,"component":59},"b4b4fb97-e791-42a6-b3a1-b1eff37e39cc",{"id":179,"url":30,"linktype":31,"fieldtype":32,"cached_url":180},"8384ac3d-99d5-450c-a366-97de897ba6c4","de/loesungen/kundenzentrierung","Kundenzentrierte Test-/Experimentierkultur",{"_uid":183,"link":184,"text":187,"component":59},"6bb72781-75bb-447e-8c30-4e3731e74c1b",{"id":185,"url":30,"linktype":31,"fieldtype":32,"cached_url":186},"3e74fa84-d5dd-4989-9b54-dc4b17d78d61","de/loesungen/product-discovery","Produktentwicklung & MVP-Begleitung","Lösungen","util-link-list",{"_uid":191,"link":192,"links":195,"title":243,"component":189},"c72751dc-01ca-4393-88d5-f98044c20dfe",{"id":193,"url":30,"linktype":31,"fieldtype":32,"cached_url":194},"3d5d20be-27f5-4633-85b0-bd2e681643a7","de/case-studies/case-study-ueberblick",[196,202,208,213,219,225,231,237],{"_uid":197,"link":198,"text":201,"component":59},"7842509a-13c2-4d57-887d-eca5e88c29c0",{"id":199,"url":30,"linktype":31,"fieldtype":32,"cached_url":200},"432ec656-e9cb-4462-85f3-0d653d33bcd3","de/case-studies/case-study-betzold","Betzold: Personalisierung für KMU",{"_uid":203,"link":204,"text":207,"component":59},"edd83cb1-2bb0-469a-8007-d76d26c94804",{"id":205,"url":30,"linktype":31,"fieldtype":32,"cached_url":206},"b2f8d181-b222-4b79-a35a-ffc813533953","de/case-studies/case-study-freenet-ag","Freenet: CRO Team aufbauen & Inhousing",{"_uid":209,"link":210,"text":212,"component":59},"c43a5159-7404-431a-a873-696fc2415618",{"id":30,"url":211,"linktype":136,"fieldtype":32,"cached_url":211},"https://www.konversionskraft.de/innovationsmanagement/design-sprints.html","Telefonica: Innovation mit Design Sprints",{"_uid":214,"link":215,"text":218,"component":59},"79bdb63a-dd36-468f-ad57-1ff6352335ff",{"id":216,"url":30,"linktype":31,"fieldtype":32,"cached_url":217},"9da92b5c-0b48-463c-96af-f324d5951218","de/case-studies/case-study-computeruniverse","computeruniverse: Echtzeit Personalisierung",{"_uid":220,"link":221,"text":224,"component":59},"ed7cefbb-abbd-4bbe-ad78-97923943a968",{"id":222,"url":30,"linktype":31,"fieldtype":32,"cached_url":223},"bbad9c18-473e-4035-bb5a-9ec561f46a1d","de/case-studies/case-study-goertz","Görtz: Design Driven Relaunch",{"_uid":226,"link":227,"text":230,"component":59},"0025c2b0-0253-444d-89be-9bbae77b66fd",{"id":228,"url":30,"linktype":31,"fieldtype":32,"cached_url":229},"c6eccf7f-3c04-4d2e-84d7-aca24c02131a","de/case-studies/case-study-haufe","Haufe: Customer Centricity",{"_uid":232,"link":233,"text":236,"component":59},"ce573bb0-0e46-4c94-a737-bec58af9b6b3",{"id":234,"url":30,"linktype":31,"fieldtype":32,"cached_url":235},"0d6607f2-7b17-4248-877e-fab97adadbbd","de/case-studies/case-study-aldi-sued-personalisierung","ALDI Süd: Kanalübergreifende Personalisierung",{"_uid":238,"link":239,"text":242,"component":59},"155dbddf-9f79-4a6e-a17e-9c044fba1145",{"id":240,"url":30,"linktype":31,"fieldtype":32,"cached_url":241},"cb05cdff-2855-4e30-8abe-b7c60fb50e07","de/ressourcen/studien/download-grow-report","G.R.O.W. Report & Canvas - Download","Cases",{"_uid":245,"link":246,"links":249,"title":292,"component":189},"290333ca-9ef6-4c0d-8878-f5c285374311",{"id":247,"url":30,"linktype":31,"fieldtype":32,"cached_url":248},"0a47fb29-43c0-480d-8192-fdec9bed2a00","de/branchen/",[250,256,262,268,274,280,286],{"_uid":251,"link":252,"text":255,"component":59},"e03779ff-4a0c-492b-a23f-82cc41ce1b42",{"id":253,"url":30,"linktype":31,"fieldtype":32,"cached_url":254},"9db23777-e782-4660-8772-9f6b5706455e","de/branchen/banking-finance","Banking & Finance",{"_uid":257,"link":258,"text":261,"component":59},"f87e851a-7b12-4e65-8e92-329f5c9320c3",{"id":259,"url":30,"linktype":31,"fieldtype":32,"cached_url":260},"df24ecee-0472-4e18-b719-98ae5a7eaf30","de/branchen/b2b","B2B",{"_uid":263,"link":264,"text":267,"component":59},"2e8b4eaa-1fc5-445c-976f-bf38a081e21f",{"id":265,"url":30,"linktype":31,"fieldtype":32,"cached_url":266},"bdd1cf11-ef56-4696-be69-fa57208726f9","de/branchen/ngo","Non-Governmental Organisations",{"_uid":269,"link":270,"text":273,"component":59},"fbfa0f52-59fb-4fe2-9124-29860f34613f",{"id":271,"url":30,"linktype":31,"fieldtype":32,"cached_url":272},"f6d46912-5fe2-4540-9d5b-c06a31e49306","de/branchen/telekommunikation","Telekommunikation",{"_uid":275,"link":276,"text":279,"component":59},"2c8f964f-f25d-47fe-ac8f-e11f53673926",{"id":277,"url":30,"linktype":31,"fieldtype":32,"cached_url":278},"7bfaf1a9-5c8e-4a08-92ce-80b5ed12e311","de/branchen/e-commerce","E-Commerce",{"_uid":281,"link":282,"text":285,"component":59},"7657fffb-c9f6-47f7-a970-a9a623d59aca",{"id":283,"url":30,"linktype":31,"fieldtype":32,"cached_url":284},"d972d186-d012-40ec-94bf-d6f072c006bd","de/branchen/conversion-optimierung-travel","Travel & Entertainment",{"_uid":287,"link":288,"text":291,"component":59},"95e5bd1c-820a-404c-9425-fa5726f46039",{"id":289,"url":30,"linktype":31,"fieldtype":32,"cached_url":290},"adec7223-27fe-48be-895d-542dd2154619","de/branchen/d2c","D2C","Branchen",{"_uid":294,"link":295,"links":298,"title":431,"component":189},"78233a78-d66e-44e6-9bc6-f04e21981a36",{"id":296,"url":30,"linktype":31,"fieldtype":32,"cached_url":297},"2868c027-4bca-49d6-a93e-64534a555c46","de/know-how-tools",[299,303,309,315,321,325,335,341,346,356,362,368,374,380,386,392,396,401,407,413,419,425],{"_uid":300,"link":301,"text":302,"component":59},"e1000000-0000-4000-8000-000000000001",{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},"Ratgeber: Was ist Conversion-Optimierung?",{"_uid":304,"link":305,"text":308,"component":59},"e1000000-0000-4000-8000-000000000002",{"id":306,"url":30,"linktype":31,"fieldtype":32,"cached_url":307},"c3fa47db-d9f1-440c-90f1-5edb09eff03b","de/customer-journey","Ratgeber: Was ist eine Customer Journey?",{"_uid":310,"link":311,"text":314,"component":59},"e1000000-0000-4000-8000-000000000003",{"id":312,"url":30,"linktype":31,"fieldtype":32,"cached_url":313},"cda69b30-8362-4d2d-80a3-ef4b9f11178a","de/ab-testing","Ratgeber: Was ist A/B-Testing?",{"_uid":316,"link":317,"text":320,"component":59},"e1000000-0000-4000-8000-000000000004",{"id":318,"url":30,"linktype":31,"fieldtype":32,"cached_url":319},"2c10eaf4-b33d-43f0-ac03-831a2c9513f2","de/cro-agentur-finden","Ratgeber: Wie finde ich eine gute CRO-Agentur?",{"_uid":322,"link":323,"text":324,"component":59},"e1000000-0000-4000-8000-000000000005",{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},"Ratgeber: Was ist Personalisierung?",{"_uid":326,"link":327,"text":334,"component":59},"5b065a95-dc2c-4157-9cce-36a5491d748a",{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":330},"f3c858d2-69c1-4782-a66c-03634b2258f6","de/weiterbildung/uebersicht-der-weiterbildungsangebote",{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},"Übersicht der Weiterbildungsangebote",61789049106112,"uebersicht-der-weiterbildungsangebote","Academy - E-Kurse & Schulungen",{"_uid":336,"link":337,"text":340,"component":59},"7f66786d-3901-4f91-b78b-5363f8a34cbd",{"id":338,"url":30,"linktype":31,"fieldtype":32,"cached_url":339},"cb7da046-7dd0-466b-a99d-5e01142617f1","de/ressourcen/download-bibliothek","Download Bibliothek - E-Books, Studien, Frameworks",{"_uid":342,"link":343,"text":345,"component":59},"8eb16b14-6456-4a01-8f2c-aa930c24ac5d",{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":344},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},"Weiterbildungen im Überblick",{"_uid":347,"link":348,"text":355,"component":59},"aff38e25-0be7-4a95-8247-7875f706c31d",{"id":349,"url":30,"linktype":31,"fieldtype":32,"cached_url":350,"story":351},"59affe36-02b5-42a7-9ef1-a2ea2e34bc71","de/webinare/",{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350,"_stopResolving":81},"Anstehende Webinare",62483764663535,"webinare","Webinare",{"_uid":357,"link":358,"text":361,"component":59},"2ab92889-dda6-4602-89d4-48b24e7a6e97",{"id":359,"url":30,"linktype":31,"fieldtype":32,"cached_url":360},"c96790f9-bb24-4408-873a-807fa6dab582","de/tools/","Statistik Tools",{"_uid":363,"link":364,"text":367,"component":59},"6332bc11-9aaf-402f-84b6-715384d999ad",{"id":365,"url":30,"linktype":31,"fieldtype":32,"cached_url":366},"c9edb73d-2ca1-4011-bc6f-6b60489a133b","de/weiterbildung/inhouse-lehrgang-zertifizierter-conversion-manager","Inhouse Lehrgang - Conversion Manager",{"_uid":369,"link":370,"text":373,"component":59},"b4dc283b-c2a3-4b37-bd4d-ab62342a5fc5",{"id":371,"url":30,"linktype":31,"fieldtype":32,"cached_url":372},"25e060e7-a7d4-43e4-845a-2287180afe78","de/weiterbildung/inhouse-schulung-product-discovery","Inhouse Training - Product Discovery ",{"_uid":375,"link":376,"text":379,"component":59},"f10472fa-9d8b-4ab7-96f8-2dd9c93f6553",{"id":377,"url":30,"linktype":31,"fieldtype":32,"cached_url":378},"af525344-9836-4511-81a1-4fb95c0e67aa","de/produkte/behavior-pattern-model-poster","Behavior Pattern Model Poster",{"_uid":381,"link":382,"text":385,"component":59},"fb118cba-5d23-4282-8a72-c27ea9a8aec9",{"id":383,"url":30,"linktype":31,"fieldtype":32,"cached_url":384},"9c48d4d5-330b-4b96-af5e-68a9cda735d4","de/produkte/behavior-patterns-kartenset","Behavior Pattern Kartenset",{"_uid":387,"link":388,"text":391,"component":59},"90aba8f9-395b-4f38-abad-71f05bc0449f",{"id":389,"url":30,"linktype":31,"fieldtype":32,"cached_url":390},"5dab273c-49bb-4f64-a3cd-de96f0d7b39f","de/growth-ambassador-community","Growth Ambassador Community",{"_uid":393,"link":394,"text":395,"component":59},"99cf735d-f680-4c48-9074-636c4830d35a",{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},"News & Know-how in dein Postfach",{"_uid":397,"link":398,"text":400,"component":59},"f5697cde-7f34-4274-9572-e5ec3e7457bd",{"id":30,"url":399,"linktype":136,"fieldtype":32,"cached_url":399},"https://www.growthmindedsuperheroes.com/","GMS - growth minded SUPERHEROES",{"_uid":402,"link":403,"text":406,"component":59},"00f49f9b-f75c-4775-a61f-41fd61a92ed3",{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405},"1d084a65-02b3-4ee1-be0d-9806be223ab2","de/ressourcen/e-books/statistik-e-book-und-basic-wissen-fuer-a-b-testing","Download: Statistik E-Book Bundle",{"_uid":408,"link":409,"text":412,"component":59},"e0422140-94e7-4dd8-87f7-a0f752dd712d",{"id":410,"url":30,"linktype":31,"fieldtype":32,"cached_url":411},"c8996f10-09f1-4543-874b-158275456f9b","de/ressourcen/e-books/personalisierung-mit-dem-4-stufen-modell","Download: E-Book Personalisierung",{"_uid":414,"link":415,"text":418,"component":59},"de7271fe-965f-418b-8d42-31b78f962e1d",{"id":416,"url":30,"linktype":31,"fieldtype":32,"cached_url":417},"58333d89-01c3-4cac-863e-e7cbc02a08bc","de/ressourcen/frameworks/wdw-hypothesen-framework","Download: WDW Hypothesen Framework",{"_uid":420,"link":421,"text":424,"component":59},"be031ed2-c7f7-4c8b-8f58-6f87074f4dc0",{"id":422,"url":30,"linktype":31,"fieldtype":32,"cached_url":423},"3aa8f349-0361-45a7-a391-066df5c9e7ff","de/ressourcen/frameworks/roi-ab-testing-business-case-paket","Download: A/B Testing ROI Business Case Paket",{"_uid":426,"link":427,"text":430,"type":30,"component":59},"8d464b9b-86fe-4c09-b5ad-15f1746ab4a8",{"id":428,"url":30,"linktype":31,"fieldtype":32,"cached_url":429},"4e8a7b56-0857-4af1-9068-edc69349fb30","de/ressourcen/frameworks/hook-model-canvas","Framework: Hook Model Canvas","Know-how & Tools",{"_uid":433,"link":434,"links":441,"title":442,"component":189},"3a303c5d-3ef4-482e-b31d-02856c821947",{"id":435,"url":30,"linktype":31,"fieldtype":32,"cached_url":436,"story":437},"1e20ab74-88ab-4f66-b3a1-019d85e2ef84","de/blog/",{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436,"_stopResolving":81},"Overview",103884675285507,"blog",[],"Blog",{"_uid":444,"link":445,"links":448,"title":486,"component":189},"5e1fb531-7f55-4c8e-8b25-32fa43e7af94",{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},"d7112b89-d5ce-41d8-a369-293c8b86e98d","de/ueber-uns/wer-wir-sind",[449,453,463,469,474,480],{"_uid":450,"link":451,"text":452,"component":59},"95511c3e-0c54-4f6e-83bc-143e5ac943f2",{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},"Team: Wer wir sind",{"_uid":454,"link":455,"text":462,"component":59},"10e03a1d-860a-4a64-8997-f352cab5291c",{"id":456,"url":30,"linktype":31,"fieldtype":32,"cached_url":457,"story":458},"c20fc377-1157-4539-97d2-0ded113d1a69","de/ueber-uns/was-wir-tun",{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457,"_stopResolving":81},"Was wir tun",62047816851482,"was-wir-tun","Methoden: Was wir tun",{"_uid":464,"link":465,"text":468,"component":59},"cc8765bf-7f12-478b-81a7-29f508fc805a",{"id":466,"url":30,"linktype":31,"fieldtype":32,"cached_url":467},"b190ded2-7e87-4b67-83c9-8ad6625d5480","de/ueber-uns/unsere-kunden","Kunden: Für wen arbeiten wir",{"_uid":470,"link":471,"text":473,"component":59},"47e8279b-16f2-4f6b-8cd3-bd9407369bba",{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":472},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},"Karriere & Jobs",{"_uid":475,"link":476,"text":479,"component":59},"85eb0d40-5379-4f62-a6a8-6cbbbcf27dd9",{"id":477,"url":30,"linktype":31,"fieldtype":32,"cached_url":478},"e5cc2d5c-06b8-4487-941c-0e463c3e4f0b","de/ueber-uns/team-first","Unsere Kultur: Team first",{"_uid":481,"link":482,"text":485,"component":59},"e8111c32-8191-4211-b40d-073b5afdf12f",{"id":483,"url":30,"linktype":31,"fieldtype":32,"cached_url":484},"31befb84-87a7-4c51-9028-092a1a69f015","de/grow-model","G.R.O.W. Model - Reifegrad Assessment","Über uns",[488],{"_uid":489,"icon":30,"link":490,"text":71,"intent":35,"component":36,"icon_position":37},"1b18d9f0-85af-48f2-a038-6a823d74dbff",{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},"core-header","header","de/_settings/header",0,[],"c1fc9f92-e520-41db-8395-ac2606e318d5","2025-05-05T09:35:20.471Z",[],"singleton-settings","Mehr lesen",[502],{"_uid":503,"head":504,"cards":519,"theme":124,"alignment":44,"component":667,"cards_per_row":668,"icon_position":669,"action_buttons":670,"bordered_cards":81},"3aaa4f32-19e8-41b0-aa02-03b4360405e7",[505],{"_uid":506,"kicker":30,"headline":507,"component":514,"subheadline":515,"show_top_line":81,"action_buttons":518},"67897cc1-c782-48fd-b6a9-3f48dfa972c1",{"type":39,"content":508},[509],{"type":42,"content":510},[511],{"text":512,"type":513},"Danach suchten andere Besucher","text","item-head",{"type":39,"content":516},[517],{"type":42},[],[520,549,575,597,621,644],{"tag":30,"_uid":521,"icon":522,"text":528,"image":534,"button":536,"headline":543,"component":548},"509dd04a-ac3a-4842-b787-c99d7bbe614b",{"id":523,"alt":524,"name":30,"focus":30,"title":525,"source":30,"filename":526,"copyright":30,"fieldtype":49,"meta_data":527,"is_external_url":51},23160806,"Halbkreis mit Tachonadel im rechten Bereich","Performance","https://a.storyblok.com/f/328018/150x150/d47b48585b/performance-heller-bg.svg",{"alt":524,"title":525,"source":30,"copyright":30},{"type":39,"content":529},[530],{"type":42,"content":531},[532],{"text":533,"type":513},"Mit dem Konfidenzrechner von konversionsKRAFT hast du die Möglichkeit, die Ergebnisse deines A/B-Tests auf signifikante Unterschiede zu untersuchen.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":535},{},[537],{"_uid":538,"icon":27,"link":539,"text":546,"intent":547,"component":36,"icon_position":37},"942eaebc-4d2f-49f1-818a-64913826a082",{"id":540,"url":30,"linktype":31,"fieldtype":32,"cached_url":541,"story":542},"20da88c1-38f8-46fb-8efb-99c7e3edaf41","de/tools/konfidenzrechner",{"name":543,"id":544,"uuid":540,"slug":545,"url":541,"full_slug":541,"_stopResolving":81},"Konfidenzrechner",62131923697584,"konfidenzrechner","Zum Tool","tertiary","section-features__card",{"tag":30,"_uid":550,"icon":551,"text":557,"image":563,"button":565,"headline":572,"component":548},"f5939252-f8ef-4fa9-a412-d80045de2c3a",{"id":552,"alt":553,"name":30,"focus":30,"title":554,"source":30,"filename":555,"copyright":30,"fieldtype":49,"meta_data":556,"is_external_url":51},23160824,"Stilisierte Uhr mit weißen Zeigern auf 12 und 3 Uhr, umgeben von einem schwarzen, gegen den Uhrzeigersinn gezeichneten Pfeilkreis","Rückblick","https://a.storyblok.com/f/328018/150x150/25b4408792/uhr-rueckblick-heller-bg.svg",{"alt":553,"title":554,"source":30,"copyright":30},{"type":39,"content":558},[559],{"type":42,"content":560},[561],{"text":562,"type":513},"Der Testlaufzeitrechner hilft dir, deine Uplifts sicher nachzuweisen und eine bessere Einschätzung für den nachweisbaren Effekt vornehmen zu können.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":564},{},[566],{"_uid":567,"icon":27,"link":568,"text":546,"intent":547,"component":36,"icon_position":37},"903598b6-6a79-4e7c-a44e-7ad9b3f1b2ab",{"id":569,"url":30,"linktype":31,"fieldtype":32,"cached_url":570,"story":571},"5c12fee4-da27-4b84-9e21-125e542f2261","de/tools/testlaufzeitrechner",{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570,"_stopResolving":81},"Testlaufzeitrechner",62134457203508,"testlaufzeitrechner",{"tag":30,"_uid":576,"icon":577,"text":583,"image":589,"button":591,"headline":355,"component":548},"3f45584f-e296-4c4c-aeb2-74fb602c25cc",{"id":578,"alt":579,"name":30,"focus":30,"title":580,"source":30,"filename":581,"copyright":30,"fieldtype":49,"meta_data":582,"is_external_url":51},23160767,"Icon mit Person einem Notebook und Smartphone","Customer Journey","https://a.storyblok.com/f/328018/150x150/ea7a1982ed/customer-journey-heller-bg.svg",{"alt":579,"title":580,"source":30,"copyright":30},{"type":39,"content":584},[585],{"type":42,"content":586},[587],{"text":588,"type":513},"Unsere Webinare richten sich an alle, die mehr wollen – mehr Uplift, mehr ROI, mehr Wachstum. Unsere Experten und Gastreferenten vermitteln in den Web-Seminaren wichtiges Optimiererwissen.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":590},{},[592],{"_uid":593,"icon":27,"link":594,"text":596,"intent":547,"component":36,"icon_position":37},"eec7fdfe-219e-4996-b99e-645675c27ea8",{"id":349,"url":30,"linktype":31,"fieldtype":32,"cached_url":350,"story":595},{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350,"_stopResolving":81},"Zur Übersicht",{"tag":30,"_uid":598,"icon":599,"text":605,"image":612,"button":614,"headline":620,"component":548},"d70a1587-7a51-414c-aa40-fa4419ea02b7",{"id":600,"alt":601,"name":30,"focus":30,"title":602,"source":30,"filename":603,"copyright":30,"fieldtype":49,"meta_data":604,"is_external_url":51},23160771,"Symbol eines Bachelor Huts für Bildung","Bachelor Hut","https://a.storyblok.com/f/328018/150x150/35fc1a0701/diplom-bachelor-heller-bg.svg",{"alt":601,"title":602,"source":30,"copyright":30},{"type":39,"content":606},[607],{"type":42,"attrs":608,"content":609},{"textAlign":118},[610],{"text":611,"type":513},"Profitiere von der langjährigen Erfahrung unserer Consultants, Analysten, UX Designern und Konsumpsychologen und erlange neues Know-how für deinen Alltag.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":613},{},[615],{"_uid":616,"icon":27,"link":617,"text":619,"intent":547,"component":36,"icon_position":37},"c320c7a7-6ad7-4ab7-8cbd-98b5dbe6fa38",{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":618},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},"Zur Weiterbildung","Weiterbildung",{"tag":30,"_uid":622,"icon":623,"text":629,"image":636,"button":638,"headline":459,"component":548},"cd63af88-8220-48f4-b392-1f5eabcb2d3c",{"id":624,"alt":625,"name":30,"focus":30,"title":626,"source":30,"filename":627,"copyright":30,"fieldtype":49,"meta_data":628,"is_external_url":51},23160799,"Drei Personen nebeneinander mit jeweils einem Stern darunter","Kundenbedürfnis verstehen","https://a.storyblok.com/f/328018/150x150/02138a981e/kundenbeduerfnis-verstehen-heller-bg.svg",{"alt":625,"title":626,"source":30,"copyright":30},{"type":39,"content":630},[631,635],{"type":42,"content":632},[633],{"text":634,"type":513},"Wir erschließen schnell und systematisch existierende digitale Wachstumspotenziale. Agil, kundenzentriert und datenbasiert.",{"type":42},{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":637},{},[639],{"_uid":640,"icon":27,"link":641,"text":643,"intent":547,"component":36,"icon_position":37},"e7f68e81-f9b0-4fb4-810b-224498e148b2",{"id":456,"url":30,"linktype":31,"fieldtype":32,"cached_url":457,"story":642},{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457,"_stopResolving":81},"Mehr erfahren",{"tag":30,"_uid":645,"icon":646,"text":652,"image":659,"button":661,"headline":78,"component":548},"cf571a54-a871-40ed-b3da-a8f7bc23fdf4",{"id":647,"alt":648,"name":30,"focus":30,"title":649,"source":30,"filename":650,"copyright":30,"fieldtype":49,"meta_data":651,"is_external_url":51},23160774,"Ein skizzierter Diamant der funkelt","Diamant","https://a.storyblok.com/f/328018/150x150/67d557c518/diamant-heller-bg.svg",{"alt":648,"title":649,"source":30,"copyright":30},{"type":39,"content":653},[654,658],{"type":42,"content":655},[656],{"text":657,"type":513},"Bist du bereit, deine Karriere bei uns zu starten?",{"type":42},{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":660},{},[662],{"_uid":663,"icon":27,"link":664,"text":666,"intent":547,"component":36,"icon_position":37},"4b0f8e8b-cfbd-4bad-99ba-ed5635cc99ae",{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":665},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},"Vakanzen","section-features-1","3","top",[],[672],{"_uid":673,"kicker":30,"headline":674,"component":514,"subheadline":680,"show_top_line":51,"action_buttons":686},"31cce379-ea89-4fdf-84f8-52e990bcf402",{"type":39,"content":675},[676],{"type":42,"content":677},[678],{"text":679,"type":513},"Hoppla!",{"type":39,"content":681},[682],{"type":42,"content":683},[684],{"text":685,"type":513},"Die angeforderte Seite konnte leider nicht gefunden werden.",[],[688],{"_uid":689,"type":30,"kicker":30,"headline":690,"component":514,"subheadline":697,"show_top_line":51,"action_buttons":700},"3ffbe671-41cf-400a-980c-6dbe14b6ce6f",{"type":39,"content":691},[692],{"type":42,"attrs":693,"content":694},{"textAlign":118},[695],{"text":696,"type":513},"Über den Autor",{"type":39,"content":698},[699],{"type":42},[],[],[],"min Lesezeit",[705],{"_uid":706,"icon":27,"link":707,"text":500,"intent":35,"component":36,"icon_position":37},"bb239a64-a116-4d8f-9695-ffc1a5e260a3",{"id":435,"url":30,"linktype":31,"fieldtype":32,"cached_url":436,"story":708},{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436,"_stopResolving":81},"Verfasst von","Inhalt","Lesedauer","Minuten","_settings","de/_settings/",-40,[],"c1ba6ded-acb9-4c7e-8404-38e942bdfab9","2025-05-05T09:35:20.134Z",[],1791547703,[722,857],{"name":127,"created_at":7,"published_at":128,"updated_at":129,"id":130,"uuid":131,"content":723,"slug":492,"full_slug":493,"sort_by_date":118,"position":494,"tag_list":855,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":496,"first_published_at":497,"release_id":118,"lang":124,"path":118,"alternates":856,"default_full_slug":118,"translated_slugs":118},{"_uid":133,"link":724,"logo":725,"links":727,"buttons":852,"component":491},{"id":30,"url":135,"linktype":136,"fieldtype":32,"cached_url":135},{"id":138,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":139,"copyright":30,"fieldtype":49,"meta_data":726,"is_external_url":51},{},[728,745,764,781,831,835],{"_uid":143,"link":729,"links":730,"title":188,"component":189},{"id":145,"url":30,"linktype":31,"fieldtype":32,"cached_url":146},[731,733,735,737,739,741,743],{"_uid":149,"link":732,"text":58,"component":59},{"id":151,"url":30,"linktype":31,"fieldtype":32,"cached_url":152},{"_uid":154,"link":734,"text":65,"component":59},{"id":156,"url":30,"linktype":31,"fieldtype":32,"cached_url":157},{"_uid":159,"link":736,"text":163,"component":59},{"id":161,"url":30,"linktype":31,"fieldtype":32,"cached_url":162},{"_uid":165,"link":738,"text":169,"component":59},{"id":167,"url":30,"linktype":31,"fieldtype":32,"cached_url":168},{"_uid":171,"link":740,"text":175,"component":59},{"id":173,"url":30,"linktype":31,"fieldtype":32,"cached_url":174},{"_uid":177,"link":742,"text":181,"component":59},{"id":179,"url":30,"linktype":31,"fieldtype":32,"cached_url":180},{"_uid":183,"link":744,"text":187,"component":59},{"id":185,"url":30,"linktype":31,"fieldtype":32,"cached_url":186},{"_uid":191,"link":746,"links":747,"title":243,"component":189},{"id":193,"url":30,"linktype":31,"fieldtype":32,"cached_url":194},[748,750,752,754,756,758,760,762],{"_uid":197,"link":749,"text":201,"component":59},{"id":199,"url":30,"linktype":31,"fieldtype":32,"cached_url":200},{"_uid":203,"link":751,"text":207,"component":59},{"id":205,"url":30,"linktype":31,"fieldtype":32,"cached_url":206},{"_uid":209,"link":753,"text":212,"component":59},{"id":30,"url":211,"linktype":136,"fieldtype":32,"cached_url":211},{"_uid":214,"link":755,"text":218,"component":59},{"id":216,"url":30,"linktype":31,"fieldtype":32,"cached_url":217},{"_uid":220,"link":757,"text":224,"component":59},{"id":222,"url":30,"linktype":31,"fieldtype":32,"cached_url":223},{"_uid":226,"link":759,"text":230,"component":59},{"id":228,"url":30,"linktype":31,"fieldtype":32,"cached_url":229},{"_uid":232,"link":761,"text":236,"component":59},{"id":234,"url":30,"linktype":31,"fieldtype":32,"cached_url":235},{"_uid":238,"link":763,"text":242,"component":59},{"id":240,"url":30,"linktype":31,"fieldtype":32,"cached_url":241},{"_uid":245,"link":765,"links":766,"title":292,"component":189},{"id":247,"url":30,"linktype":31,"fieldtype":32,"cached_url":248},[767,769,771,773,775,777,779],{"_uid":251,"link":768,"text":255,"component":59},{"id":253,"url":30,"linktype":31,"fieldtype":32,"cached_url":254},{"_uid":257,"link":770,"text":261,"component":59},{"id":259,"url":30,"linktype":31,"fieldtype":32,"cached_url":260},{"_uid":263,"link":772,"text":267,"component":59},{"id":265,"url":30,"linktype":31,"fieldtype":32,"cached_url":266},{"_uid":269,"link":774,"text":273,"component":59},{"id":271,"url":30,"linktype":31,"fieldtype":32,"cached_url":272},{"_uid":275,"link":776,"text":279,"component":59},{"id":277,"url":30,"linktype":31,"fieldtype":32,"cached_url":278},{"_uid":281,"link":778,"text":285,"component":59},{"id":283,"url":30,"linktype":31,"fieldtype":32,"cached_url":284},{"_uid":287,"link":780,"text":291,"component":59},{"id":289,"url":30,"linktype":31,"fieldtype":32,"cached_url":290},{"_uid":294,"link":782,"links":783,"title":431,"component":189},{"id":296,"url":30,"linktype":31,"fieldtype":32,"cached_url":297},[784,786,788,790,792,794,797,799,802,805,807,809,811,813,815,817,819,821,823,825,827,829],{"_uid":300,"link":785,"text":302,"component":59},{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},{"_uid":304,"link":787,"text":308,"component":59},{"id":306,"url":30,"linktype":31,"fieldtype":32,"cached_url":307},{"_uid":310,"link":789,"text":314,"component":59},{"id":312,"url":30,"linktype":31,"fieldtype":32,"cached_url":313},{"_uid":316,"link":791,"text":320,"component":59},{"id":318,"url":30,"linktype":31,"fieldtype":32,"cached_url":319},{"_uid":322,"link":793,"text":324,"component":59},{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},{"_uid":326,"link":795,"text":334,"component":59},{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":796},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},{"_uid":336,"link":798,"text":340,"component":59},{"id":338,"url":30,"linktype":31,"fieldtype":32,"cached_url":339},{"_uid":342,"link":800,"text":345,"component":59},{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":801},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},{"_uid":347,"link":803,"text":355,"component":59},{"id":349,"url":30,"linktype":31,"fieldtype":32,"cached_url":350,"story":804},{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350,"_stopResolving":81},{"_uid":357,"link":806,"text":361,"component":59},{"id":359,"url":30,"linktype":31,"fieldtype":32,"cached_url":360},{"_uid":363,"link":808,"text":367,"component":59},{"id":365,"url":30,"linktype":31,"fieldtype":32,"cached_url":366},{"_uid":369,"link":810,"text":373,"component":59},{"id":371,"url":30,"linktype":31,"fieldtype":32,"cached_url":372},{"_uid":375,"link":812,"text":379,"component":59},{"id":377,"url":30,"linktype":31,"fieldtype":32,"cached_url":378},{"_uid":381,"link":814,"text":385,"component":59},{"id":383,"url":30,"linktype":31,"fieldtype":32,"cached_url":384},{"_uid":387,"link":816,"text":391,"component":59},{"id":389,"url":30,"linktype":31,"fieldtype":32,"cached_url":390},{"_uid":393,"link":818,"text":395,"component":59},{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},{"_uid":397,"link":820,"text":400,"component":59},{"id":30,"url":399,"linktype":136,"fieldtype":32,"cached_url":399},{"_uid":402,"link":822,"text":406,"component":59},{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405},{"_uid":408,"link":824,"text":412,"component":59},{"id":410,"url":30,"linktype":31,"fieldtype":32,"cached_url":411},{"_uid":414,"link":826,"text":418,"component":59},{"id":416,"url":30,"linktype":31,"fieldtype":32,"cached_url":417},{"_uid":420,"link":828,"text":424,"component":59},{"id":422,"url":30,"linktype":31,"fieldtype":32,"cached_url":423},{"_uid":426,"link":830,"text":430,"type":30,"component":59},{"id":428,"url":30,"linktype":31,"fieldtype":32,"cached_url":429},{"_uid":433,"link":832,"links":834,"title":442,"component":189},{"id":435,"url":30,"linktype":31,"fieldtype":32,"cached_url":436,"story":833},{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436,"_stopResolving":81},[],{"_uid":444,"link":836,"links":837,"title":486,"component":189},{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},[838,840,843,845,848,850],{"_uid":450,"link":839,"text":452,"component":59},{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},{"_uid":454,"link":841,"text":462,"component":59},{"id":456,"url":30,"linktype":31,"fieldtype":32,"cached_url":457,"story":842},{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457,"_stopResolving":81},{"_uid":464,"link":844,"text":468,"component":59},{"id":466,"url":30,"linktype":31,"fieldtype":32,"cached_url":467},{"_uid":470,"link":846,"text":473,"component":59},{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":847},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},{"_uid":475,"link":849,"text":479,"component":59},{"id":477,"url":30,"linktype":31,"fieldtype":32,"cached_url":478},{"_uid":481,"link":851,"text":485,"component":59},{"id":483,"url":30,"linktype":31,"fieldtype":32,"cached_url":484},[853],{"_uid":489,"icon":30,"link":854,"text":71,"intent":35,"component":36,"icon_position":37},{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},[],[],{"name":15,"created_at":7,"published_at":16,"updated_at":17,"id":18,"uuid":19,"content":858,"slug":116,"full_slug":117,"sort_by_date":118,"position":119,"tag_list":891,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":122,"first_published_at":123,"release_id":118,"lang":124,"path":118,"alternates":892,"default_full_slug":118,"translated_slugs":118},{"cta":859,"_uid":45,"logo":867,"links":869,"component":82,"copyright":83,"logo_link":879,"legal_links":880},[860],{"_uid":23,"buttons":861,"caption":864,"component":43,"caption_position":44},[862],{"_uid":26,"icon":27,"link":863,"text":34,"intent":35,"component":36,"icon_position":37},{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},{"type":39,"content":865},[866],{"type":42},{"id":47,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":48,"copyright":30,"fieldtype":49,"meta_data":868,"is_external_url":51},{},[870,872,874,876],{"_uid":54,"link":871,"text":58,"component":59},{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},{"_uid":61,"link":873,"text":65,"type":30,"component":59},{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},{"_uid":67,"link":875,"text":71,"component":59},{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},{"_uid":73,"link":877,"text":78,"component":59},{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":878},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},{"id":85,"url":30,"linktype":31,"fieldtype":32,"cached_url":86},[881,883,885,887,889],{"_uid":89,"link":882,"text":93,"component":59},{"id":91,"url":30,"linktype":31,"fieldtype":32,"cached_url":92},{"_uid":95,"link":884,"text":99,"component":59},{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},{"_uid":101,"link":886,"text":105,"component":59},{"id":103,"url":30,"linktype":31,"fieldtype":32,"cached_url":104},{"_uid":107,"link":888,"text":111,"component":59},{"id":109,"url":30,"linktype":31,"fieldtype":32,"cached_url":110},{"_uid":113,"link":890,"text":115,"component":59},{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},[],[],[894,895,896,897,898,899,900],{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436},{"name":543,"id":544,"uuid":540,"slug":545,"url":541,"full_slug":541},{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350},{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570},{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329},{"story":902,"cv":720,"rels":2805,"links":2829},{"name":903,"created_at":904,"published_at":905,"updated_at":906,"id":907,"uuid":908,"content":909,"slug":2766,"full_slug":2767,"sort_by_date":118,"position":2799,"tag_list":2800,"is_startpage":51,"parent_id":2801,"meta_data":118,"group_id":2802,"first_published_at":2803,"release_id":118,"lang":124,"path":118,"alternates":2804,"default_full_slug":118,"translated_slugs":118},"10 Statistik-Fallen beim Testing – Der ultimative Guide für Optimierer","2025-10-15T16:17:06.192Z","2026-10-04T09:56:22.402Z","2026-10-04T09:56:22.751Z",101807825739667,"59313cd2-ab04-4260-8422-c22430204435",{"seo":910,"_uid":914,"body":915,"text":913,"image":2667,"footer":30,"header":30,"authors":2670,"category":2701,"headline":903,"component":2702,"categories":2703,"bottom_head":2746,"breadcrumbs":2747,"seo_noindex":51,"sidebar_cta":2768,"reading_time":2796,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":2797,"additional_slot":2798,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":911,"plugin":912,"og_image":30,"og_title":911,"description":913,"twitter_image":30,"twitter_title":911,"og_description":913,"twitter_description":913},"10 Statistik-Fallen beim Testing - Der ultimative Guide","seo_metatags","Der ultimative Guide für Optimierer: So umgehst Du die 10 verhängnisvollsten Statistik-Fallen beim Testing!","7738a0b9-26e6-458c-92fa-ece958350c8f",[916,925,937,1096,1107,1127,1138,1270,1282,1346,1357,1420,1431,1484,1495,1596,1607,1624,1635,1694,1705,1727,1738,1908,1919,1971,1982,2035,2046,2054,2065,2082,2093,2186,2197,2283,2294,2400,2412],{"_uid":917,"text":918,"component":924},"1aab2837-17a8-4351-9799-a4d9ed7b4048",{"type":39,"content":919},[920],{"type":42,"content":921},[922],{"text":923,"type":513},"Auch A/B-Tests mit guten Testkonzepten führen mit falschen Statistikansätzen schnell und in jeder Testing-Phase zu nicht aussagekräftigen Ergebnissen und Fehlinterpretationen. Wir zeigen Dir die 10 wichtigsten Statistik-Fallen, in die Du während der einzelnen Phasen des Optimierungsprozesses tappen kannst und geben praktische Tipps, wie Du sie umgehst und valide Ergebnisse erhältst.","richtext-text",{"_uid":926,"image":927,"caption":931,"component":936},"1aa15be5-b448-4c38-b23a-8a0910fe73ed",{"alt":928,"src":929,"name":30,"focus":30,"title":118,"source":30,"filename":929,"copyright":30,"fieldtype":49,"meta_data":930,"is_external_url":81},"Abbildung 1: In jeder Phase eines Tests lauern Statistik-Stolperfallen.","https://storage.googleapis.com/kk-website-assets/h9PzTlGe_Statistik-Falle-1-610x223.png",{"alt":928,"title":118,"source":30,"copyright":30},{"type":39,"content":932},[933],{"type":42,"content":934},[935],{"text":928,"type":513},"richtext-image",{"_uid":938,"text":939,"component":924},"d84bada1-b418-4edf-929b-e22f40cf8336",{"type":39,"content":940},[941,948,1033,1043,1048,1055,1060,1071,1091],{"type":942,"attrs":943,"content":945},"heading",{"level":944,"textAlign":118},2,[946],{"text":947,"type":513},"Quick-Navigation",{"type":42,"attrs":949,"content":950},{"textAlign":118},[951,960,962,969,970,977,978,985,986,993,994,1001,1002,1009,1010,1017,1018,1025,1026],{"text":952,"type":513,"marks":953},"Statistik-Falle #1: Zu viele Varianten",[954,958],{"type":955,"attrs":956},"link",{"href":957,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle1",{"type":959},"bold",{"type":961},"hard_break",{"text":963,"type":513,"marks":964},"Statistik-Falle #2: Interdependenzen abschätzen",[965,968],{"type":955,"attrs":966},{"href":967,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle2",{"type":959},{"type":961},{"text":971,"type":513,"marks":972},"Statistik-Falle #3: Klickraten & Conversion Rate",[973,976],{"type":955,"attrs":974},{"href":975,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle3",{"type":959},{"type":961},{"text":979,"type":513,"marks":980},"Statistik-Falle #4: Angst vor multivariaten Tests",[981,984],{"type":955,"attrs":982},{"href":983,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle4",{"type":959},{"type":961},{"text":987,"type":513,"marks":988},"Statistik-Falle #5: Zu früh gestoppt",[989,992],{"type":955,"attrs":990},{"href":991,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle5",{"type":959},{"type":961},{"text":995,"type":513,"marks":996},"Statistik-Falle #6: Varianten abschalten",[997,1000],{"type":955,"attrs":998},{"href":999,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle6",{"type":959},{"type":961},{"text":1003,"type":513,"marks":1004},"Statistik-Falle #7: Bayesianische Testverfahren",[1005,1008],{"type":955,"attrs":1006},{"href":1007,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle7",{"type":959},{"type":961},{"text":1011,"type":513,"marks":1012},"Statistik-Falle #8: Einseitige Betrachtung der Ergebnisse",[1013,1016],{"type":955,"attrs":1014},{"href":1015,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle8",{"type":959},{"type":961},{"text":1019,"type":513,"marks":1020},"Statistik-Falle #9: Auswertung in Segmenten",[1021,1024],{"type":955,"attrs":1022},{"href":1023,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle9",{"type":959},{"type":961},{"text":1027,"type":513,"marks":1028},"Statistik-Falle #10: Hochrechnung von Testergebnissen",[1029,1032],{"type":955,"attrs":1030},{"href":1031,"uuid":118,"anchor":118,"target":118,"linktype":136},"#falle10",{"type":959},{"type":42,"attrs":1034,"content":1035},{"textAlign":118},[1036],{"text":1037,"type":513,"marks":1038},">>> Take it home: 37 Statistik-Tipps für Optimierer",[1039,1042],{"type":955,"attrs":1040},{"href":1041,"uuid":118,"anchor":118,"target":118,"linktype":136},"#33tipps",{"type":959},{"type":42,"attrs":1044,"content":1045},{"textAlign":118},[1046],{"text":1047,"type":513},"Übrigens: Diesen Artikel kannst Du am Ende dieser Seite als praktisches PDF-Dokument downloaden.",{"type":42,"attrs":1049,"content":1050},{"textAlign":118},[1051],{"text":1052,"type":513,"marks":1053},"VOR DEM TEST",[1054],{"type":959},{"type":942,"attrs":1056,"content":1057},{"level":944,"textAlign":118},[1058],{"text":1059,"type":513},"Statistik-Falle #1:",{"type":42,"attrs":1061,"content":1062},{"textAlign":118},[1063,1065,1069],{"text":1064,"type":513},"„Lasst uns ",{"text":1066,"type":513,"marks":1067},"möglichst viele Varianten",[1068],{"type":959},{"text":1070,"type":513}," testen, irgendeine wird schon funktionieren.“",{"type":42,"attrs":1072,"content":1073},{"textAlign":118},[1074,1076,1089],{"text":1075,"type":513},"Keine besonders gute Idee. Generell sollte man im Optimierungsprozess immer ",{"text":1077,"type":513,"marks":1078},"hypothesengetrieben",[1079],{"type":955,"attrs":1080},{"href":1081,"uuid":1082,"anchor":118,"target":1083,"linktype":31,"story":1084},"/de/experimentation/testing-falle","1a8d24e6-56c1-43e3-a475-b38946e0ee6e","_self",{"name":1085,"id":1086,"uuid":1082,"slug":1087,"url":1088,"full_slug":1088,"_stopResolving":81},"Die Testing-Falle, in die jeder mal tappt",101806537813641,"testing-falle","de/experimentation/testing-falle",{"text":1090,"type":513}," arbeiten. Wahllos drauf los testen bringt nichts. Es gibt aber noch ein Problem und das heißt: Validität. Je mehr Testvarianten Du laufen lässt, desto höher ist auch die Wahrscheinlichkeit, eine davon als Gewinner zu deklarieren, obwohl sie gar keiner ist.",{"type":42,"attrs":1092,"content":1093},{"textAlign":118},[1094],{"text":1095,"type":513},"Vielleicht ist dem einen oder anderen der Begriff „Alpha-Fehler Kumulierung“ bereits begegnet. Bei jedem Test akzeptiert man, dass es eine gewisse Irrtumswahrscheinlichkeit über das Testergebnis gibt. Da man beim A/B-Testing nur einen Ausschnitt aus der kompletten Kundenbasis betrachtet, gibt es immer Unsicherheiten über die tatsächlichen Effekte. Ziel des Tests ist es aber, die gemessenen Effekte im Test auf die gesamte Kundenbasis zu übertragen. Dabei spielen Konfidenzen eine wichtige Rolle.",{"_uid":1097,"image":1098,"caption":1102,"component":936},"179c749c-bc8a-465a-bb3c-de9c34bdb46e",{"alt":1099,"src":1100,"name":30,"focus":30,"title":118,"source":30,"filename":1100,"copyright":30,"fieldtype":49,"meta_data":1101,"is_external_url":81},"Abbildung 2: Testergebnisse sollen auf alle Kunden übertragen werden, um allgemein gültige Aussagen machen zu können.","https://storage.googleapis.com/kk-website-assets/6w0p3ew5_Statistik-Falle-2-610x454.png",{"alt":1099,"title":118,"source":30,"copyright":30},{"type":39,"content":1103},[1104],{"type":42,"content":1105},[1106],{"text":1099,"type":513},{"_uid":1108,"text":1109,"component":924},"103422cd-7487-44d3-af94-25b410638a68",{"type":39,"content":1110},[1111,1115],{"type":42,"content":1112},[1113],{"text":1114,"type":513},"Mit Hilfe von Konfidenzen kann man festlegen, wie sicher man sein möchte, dass gemessene Uplifts tatsächlich existieren. In der Regel arbeitet man mit einem Konfidenzniveau von 95%. Im Umkehrschluss heißt dies, dass man eine 5-prozentige Wahrscheinlichkeit für den Fehler 1. Art (Alpha-Fehler) akzeptiert. Das heißt, dass man in 5% aller Fälle auf einen signifikanten Effekt der Testvariante schließt, obwohl es in Wirklichkeit gar keinen gibt. Jedoch gilt diese geringe Fehlerwahrscheinlichkeit nur für den Fall, dass man EINE Testvariante ins Rennen schickt. Bei mehreren Varianten erhöht sich dieser Fehler exponentiell.",{"type":42,"content":1116},[1117,1119,1125],{"text":1118,"type":513},"Bei einer Testvariante beträgt die Irrtumswahrscheinlichkeit 5%. Der kumulierte Alpha-Fehler tritt ein, wenn mehrere Gruppen mit einer anderen Gruppe verglichen werden. In diesem Fall hat jeder einzelne Gruppenvergleich einen einfachen Alpha-Fehler, wobei dieser über alle Gruppen kumuliert zu betrachten ist (dies folgt aus den ",{"text":1120,"type":513,"marks":1121},"Axiomen der Wahrscheinlichkeitstheorie",[1122],{"type":955,"attrs":1123},{"href":1124,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Wahrscheinlichkeitstheorie",{"text":1126,"type":513},"). Bei drei Testvarianten, die jeweils mit der Control verglichen werden, liegt die Irrtumswahrscheinlichkeit schon bei 14 %; mit 8 Testvarianten bei über 34 %. Das bedeutet, dass es bei einem solchen Test in mehr als jedem dritten Fall zu einem signifikanten Uplift kommt, der aber nur rein zufällig entstanden ist.",{"_uid":1128,"image":1129,"caption":1133,"component":936},"49bc7273-2d9a-464b-9801-aa6cb784e060",{"alt":1130,"src":1131,"name":30,"focus":30,"title":118,"source":30,"filename":1131,"copyright":30,"fieldtype":49,"meta_data":1132,"is_external_url":81},"Abbildung 3: Je mehr Varianten man testet, desto höher ist das Risiko einer falschen Entscheidung.","https://storage.googleapis.com/kk-website-assets/Bo1WZxyJ_Statistik-Falle-3-610x390.png",{"alt":1130,"title":118,"source":30,"copyright":30},{"type":39,"content":1134},[1135],{"type":42,"content":1136},[1137],{"text":1130,"type":513},{"_uid":1139,"text":1140,"component":924},"ad2c0b42-0c61-449b-8354-e7b1d00c1d7a",{"type":39,"content":1141},[1142,1147,1152,1160,1168,1196,1207,1212,1217,1234,1239,1244,1250,1255,1260,1265],{"type":42,"attrs":1143,"content":1144},{"textAlign":118},[1145],{"text":1146,"type":513},"Falls Du es genau wissen willst, so kannst Du den kumulierten Alpha-Fehler für deinen Test berechnen:",{"type":42,"attrs":1148,"content":1149},{"textAlign":118},[1150],{"text":1151,"type":513},"Alphakumuliert =1-(1-Alpha)^n",{"type":42,"attrs":1153,"content":1154},{"textAlign":118},[1155,1157,1158],{"text":1156,"type":513},"Alpha = gewähltes Signifikanzniveau, in der Regel 0,05",{"type":961},{"text":1159,"type":513},"n = Anzahl der Testvarianten in deinem Test (ohne Control)",{"type":42,"attrs":1161,"content":1162},{"textAlign":118},[1163,1165,1166],{"text":1164,"type":513},"Die gute Nachricht: Verwendest Du die neue Smart Stat von VWO oder Optimizely’s Stats Engine, werden automatisch Verfahren eingesetzt, die für eine steigende Fehlerwahrscheinlichkeit bei mehreren Testvarianten korrigieren.",{"type":961},{"text":1167,"type":513},"Hast Du ein Testing Tool, welches keine Korrekturverfahren verwendet, gibt es zwei Möglichkeiten:",{"type":42,"attrs":1169,"content":1170},{"textAlign":118},[1171,1175,1177,1178,1180,1186,1188,1194],{"text":1172,"type":513,"marks":1173},"1. Alpha-Fehler selber korrigieren",[1174],{"type":959},{"text":1176,"type":513},"\u2028",{"type":961},{"text":1179,"type":513},"Mit Hilfe der statistischen Varianzanalyse (",{"text":1181,"type":513,"marks":1182},"ANOVA",[1183],{"type":955,"attrs":1184},{"href":1185,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Varianzanalyse",{"text":1187,"type":513},") lässt sich zunächst testen, ob es bei mehreren Testvarianten überhaupt einen signifikanten Unterschied im Gesamtvergleich gibt (der sogenannte ",{"text":1189,"type":513,"marks":1190},"F-Test",[1191],{"type":955,"attrs":1192},{"href":1193,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/F-Test",{"text":1195,"type":513},"). Dann weiß man aber noch nicht, bei welcher Testvariante das der Fall ist. Durch eine einfaktorielle Varianzanalyse wird geprüft, ob sich die Varianzen der einzelnen Stichproben unterscheiden und welche Testvariante eine signifikant höhere Conversion Rate als die Control aufweist.",{"type":42,"attrs":1197,"content":1198},{"textAlign":118},[1199,1203,1204,1205],{"text":1200,"type":513,"marks":1201},"2. Anzahl Testvarianten begrenzen",[1202],{"type":959},{"text":1176,"type":513},{"type":961},{"text":1206,"type":513},"Wem das zu kompliziert ist, der kann ganz einfach die Anzahl der Testvarianten von vorne herein begrenzen. Aus Erfahrung sollte man nicht mehr als drei Varianten plus die Control in einem Test laufen lassen. Die Varianten sollten dabei immer hypothesengetrieben konzipiert werden.",{"type":42,"attrs":1208,"content":1209},{"textAlign":118},[1210],{"text":1211,"type":513},"Übrigens: Das Problem der steigenden Fehlerwahrscheinlichkeit tritt auch bei multivariaten Tests (MVT) auf! Praktische Tipps zu einem erfolgreichen MVT findest Du unter „Statistik-Falle #4“.",{"type":942,"attrs":1213,"content":1214},{"level":944,"textAlign":118},[1215],{"text":1216,"type":513},"Statistik-Falle #2:",{"type":42,"attrs":1218,"content":1219},{"textAlign":118},[1220,1222,1226,1228,1232],{"text":1221,"type":513},"„Wir können ",{"text":1223,"type":513,"marks":1224},"auf keinen Fall zwei Tests gleichzeitig",[1225],{"type":959},{"text":1227,"type":513}," laufen lassen. Die Ergebnisse beeinflussen sich gegenseitig und ",{"text":1229,"type":513,"marks":1230},"verzerren",[1231],{"type":959},{"text":1233,"type":513},".“",{"type":42,"attrs":1235,"content":1236},{"textAlign":118},[1237],{"text":1238,"type":513},"In der Tat gibt es unterschiedliche Meinungen dazu, ob man zulassen sollte, dass ein Nutzer in mehreren Tests gleichzeitig sein kann. Während die einen argumentieren, dass das unproblematisch sei, da sich die Effekte gegenseitig ausgleichen, sehen andere Verschmutzungseffekte durch paralleles Testen; Interaktionen zwischen Tests und Varianten können zu nicht-linearen Effekten, höheren Varianzen und sinkender Validität führen.",{"type":42,"attrs":1240,"content":1241},{"textAlign":118},[1242],{"text":1243,"type":513},"Tatsächlich hängt das konkrete Vorgehen davon ab, wie hoch man das Risiko für solche asymmetrischen Effekte einschätzt. Hier bieten sich verschiedene Lösungen an:",{"type":942,"attrs":1245,"content":1247},{"level":1246,"textAlign":118},3,[1248],{"text":1249,"type":513},"1. Geringes Risiko von Interdependenzen",{"type":42,"attrs":1251,"content":1252},{"textAlign":118},[1253],{"text":1254,"type":513},"Ist das Risiko gering und der Traffic-Overlap zwischen den Tests überschaubar, kann man zwei Tests durchaus parallel laufen lassen, so dass ein und derselbe Nutzer auch in mehreren Tests sein kann.",{"type":42,"attrs":1256,"content":1257},{"textAlign":118},[1258],{"text":1259,"type":513},"Das Vorgehen führt zu validen Ergebnissen, wenn die Testkonzepte nicht oder wenig miteinander konkurrieren. Zum Beispiel könnte man ein Konzept, welches UVPs auf der Startseite testet, parallel zum Test laufen lassen, welcher die Darstellung der Kundenmeinungen auf der Detailseite testet. Beide Tests kann man rein methodisch und technisch mit 100% Traffic laufen lassen, d.h. dass ein Nutzer in beiden Tests sein kann. Die Wahrscheinlichkeit, dass die Tests miteinander konkurrieren, ist hier eher gering.",{"type":42,"attrs":1261,"content":1262},{"textAlign":118},[1263],{"text":1264,"type":513},"Warum das geht? Ohne zu tief in die Mathematik des A/B-Testings einzusteigen: Es liegt an dem großartigen Zufallsprinzip, welches dem A/B-Testing zugrunde liegt.",{"type":42,"attrs":1266,"content":1267},{"textAlign":118},[1268],{"text":1269,"type":513},"Nutzer werden zufällig der Test- bzw. Kontrollvariante zugeordnet. Das gilt bei jedem Test und auch bei solchen, die parallel laufen, also den Nutzer mehreren Tests gleichzeitig zuordnen. Durch dieses Zufallsprinzip in Kombination mit dem Gesetz der großen Zahlen wird sichergestellt, dass die Anteile von Nutzern, die auch an einem anderen Test teilnehmen, in Test- und Kontrollvariante proportional sind (siehe Abbildung 4). So gleichen sich die Effekte auf die gemessene Conversion Rate in den Gruppen aus und man kann den Uplift verlässlich messen.",{"_uid":1271,"image":1272,"caption":1276,"component":936},"479399d8-6210-4764-981f-8148a9b4361c",{"alt":1273,"src":1274,"name":30,"focus":30,"title":118,"source":30,"filename":1274,"copyright":30,"fieldtype":49,"meta_data":1275,"is_external_url":81},"Abbildung 4: Der Anteil der Nutzer in zwei Tests ist bei einem sauberen Zufallsprinzip gleich hoch (Quelle: Optimizely).","https://storage.googleapis.com/kk-website-assets/nix_bS9S_Statistik-Falle-4-610x349.png",{"alt":1273,"title":118,"source":30,"copyright":30},{"type":39,"content":1277},[1278],{"type":42,"content":1279},[1280],{"text":1281,"type":513},"Abbildung 4: Der Anteil der Nutzer in zwei Tests ist bei einem sauberen Zufallsprinzip gleich hoch (Quelle:",{"_uid":1283,"text":1284,"component":924},"06068274-2d8b-4220-bd4f-98f37517bc79",{"type":39,"content":1285},[1286,1291,1295,1299,1303,1309,1316,1322,1326,1332,1342],{"type":942,"attrs":1287,"content":1288},{"level":1246},[1289],{"text":1290,"type":513},"2. Hohes Risiko von Interdependenzen",{"type":42,"content":1292},[1293],{"text":1294,"type":513},"Es kann aber auch Tests geben, die besser nicht parallel laufen sollten. Vor allem bei Tests auf der gleichen Seite, oder schlimmer noch, auf den selben Elementen einer Seite läufst Du Gefahr, keine validen Daten zu bekommen.",{"type":42,"content":1296},[1297],{"text":1298,"type":513},"Ein (Extrem-)Beispiel: In Test 1 möchtest Du die Platzierung der Produkt-Recommendations auf der Detailseite testen. In Test 2 veränderst Du den Algorithmus der Reco-Engine, indem Du hier vor allem Sale-Artikel anzeigst. Kommt ein Nutzer in beiden Tests in die Testvariante, so kann die Kombination der Änderungen zu ganz anderen Effekten führen, als wenn der Nutzer nur eine der Änderungen sieht.",{"type":42,"content":1300},[1301],{"text":1302,"type":513},"Bei stark interagierenden Tests bieten sich zwei Lösungen an:",{"type":42,"content":1304},[1305],{"text":1306,"type":513,"marks":1307},"Lösung A: Auf Nummer sicher gehen: Tests getrennt voneinander laufen lassen",[1308],{"type":959},{"type":42,"content":1310},[1311,1313,1314],{"text":1312,"type":513},"Zum einen kann man in allen gängigen Testing Tools den Traffic auf mehrere Tests aufteilen. So könnte man zum Beispiel den Test zur Platzierung der Recommendations mit 50% Traffic testen und die anderen 50% für die Sale-Artikel in den Recommendations verwenden. Bei diesem Vorgehen wird sichergestellt, dass die Nutzer nur eines der laufenden Testkonzepte sehen. Beachte dabei, dass sich die Testlaufzeit für jeden Test entsprechend verlängert.",{"type":961},{"text":1315,"type":513},"Ist ein 50/50 Split nicht möglich, kannst Du die Tests immer noch nacheinander laufen lassen. Dabei solltest Du stets priorisieren, von welchem Test Du mehr erwartest und dementsprechend die Tests in die Roadmap eintakten.",{"type":42,"content":1317},[1318],{"text":1319,"type":513,"marks":1320},"Lösung B: Multivariat Testen",[1321],{"type":959},{"type":42,"content":1323},[1324],{"text":1325,"type":513},"Eine andere Möglichkeit besteht darin, die Testkonzepte in einen multivariaten Test zu kombinieren. Das ist sinnvoll, wenn die Testkonzepte auf das gleiche Goal optimieren und sie auf gleichen Seiten laufen, wie im Beispiel mit den Produkt-Recommendations. Das heißt, die Varianten müssen sinnvoll kombinierbar sein. Zielt der eine Test z.B. auf die Änderung der Main-Navi ab und der andere auf UVPs im Checkout, so macht das wenig Sinn, da es kaum Interaktionen zwischen den Konzepten gibt.",{"type":942,"attrs":1327,"content":1329},{"id":1328,"level":944},"falle3",[1330],{"text":1331,"type":513},"Statistik-Falle #3:",{"type":42,"content":1333},[1334,1336,1340],{"text":1335,"type":513},"„Wenn die ",{"text":1337,"type":513,"marks":1338},"Klickraten steigen",[1339],{"type":959},{"text":1341,"type":513},", dann sehen wir das auch in der Conversion Rate.“",{"type":42,"content":1343},[1344],{"text":1345,"type":513},"Wenn das nur so einfach wäre. Nur weil die Besuche auf den Produktseiten steigen und die Besucher öfter einen Artikel in den Warenkorb legen, heißt das nicht, dass sie am Ende auch kaufen.",{"_uid":1347,"image":1348,"caption":1352,"component":936},"6b2c514e-1814-4504-9ea4-c9540f31b957",{"alt":1349,"src":1350,"name":30,"focus":30,"title":118,"source":30,"filename":1350,"copyright":30,"fieldtype":49,"meta_data":1351,"is_external_url":81},"Abbildung 5: Im Laufe des klassischen Funnels können Uplifts verloren gehen.","https://storage.googleapis.com/kk-website-assets/yyp8ojBZ_Statistik-Falle-5-610x323.png",{"alt":1349,"title":118,"source":30,"copyright":30},{"type":39,"content":1353},[1354],{"type":42,"content":1355},[1356],{"text":1349,"type":513},{"_uid":1358,"text":1359,"component":924},"8fbad30b-bf37-42ce-9ff3-c16422739418",{"type":39,"content":1360},[1361,1366,1371,1376,1386,1396],{"type":42,"attrs":1362,"content":1363},{"textAlign":118},[1364],{"text":1365,"type":513},"Bei der Wahl der Key-Performance-Indicator (KPI) solltest Du folgendes beachten:",{"type":942,"attrs":1367,"content":1368},{"level":1246,"textAlign":118},[1369],{"text":1370,"type":513},"Die richtige Haupt-KPI wählen und priorisieren",{"type":42,"attrs":1372,"content":1373},{"textAlign":118},[1374],{"text":1375,"type":513},"In jedem Test sollte man immer die Macro-Conversions messen, anhand derer der Erfolg eines Testkonzepts beurteilt wird. Zum Beispiel die Conversion Rate oder Umsatzwerte. Welche die richtige KPI ist, hängt von der konkreten Testhypothese ab:",{"type":42,"attrs":1377,"content":1378},{"textAlign":118},[1379,1383,1384],{"text":1380,"type":513,"marks":1381},"Conversion Rate",[1382],{"type":959},{"type":961},{"text":1385,"type":513},"In der Regel ist das die Haupt-KPI eines Onlineshops. Geht es also im Test darum, Nutzer in erster Linie in Käufer zu konvertieren, hat die Conversion Rate die höchste Priorität.",{"type":42,"attrs":1387,"content":1388},{"textAlign":118},[1389,1393,1394],{"text":1390,"type":513,"marks":1391},"Warenkorbwerte/Revenue pro Besucher",[1392],{"type":959},{"type":961},{"text":1395,"type":513},"Jedoch kann es auch Konzepte geben, die in erster Linie darauf ausgelegt sind, den Warenkorbwert zu erhöhen. Eine Optimierung der Produktempfehlungen auf der Produktseite (Design, Platzierung, Algorithmus) führt nicht zwingend dazu, dass Leute überhaupt kaufen, sondern vermutlich eher dazu, dass sie mehr kaufen, wenn sie denn kaufen. Durch Empfehlungen von Komplementärprodukten (X-Sell) entsteht zum Beispiel ein Anreiz, die passende Jeans zum neuen Oberteil gleich dazu zu kaufen. Dann wäre der Umsatzwert pro Conversion oder pro Besucher relevant.",{"type":42,"attrs":1397,"content":1398},{"textAlign":118},[1399,1403,1404,1406,1418],{"text":1400,"type":513,"marks":1401},"Retouren",[1402],{"type":959},{"type":961},{"text":1405,"type":513},"Testet man zum Beispiel, ob Angaben zur Passform („Fällt kleiner aus“) auf der Produktseite dabei helfen, die passende Größe zu finden, sollte man noch einen Schritt weiter gehen. Letztendlich hilft es nicht, den Kunden mit tollen Versprechungen zum Artikel zum Kauf zu bringen, wenn er dann unzufrieden ist und alles retourniert. Der Umsatz nach Retoure oder die Retourenquote geben als Haupt-KPI Aufschluss darüber, ob man mit einem Konzept ",{"text":1407,"type":513,"marks":1408},"letztendlich auch wirklich mehr Geld verdient",[1409],{"type":955,"attrs":1410},{"href":1411,"uuid":1412,"anchor":118,"target":1083,"linktype":31,"story":1413},"/de/experimentation/conversion-deckungsbeitrag-case-study","28f2d5a9-fb22-4a90-8b5a-e3e66d2f9973",{"name":1414,"id":1415,"uuid":1412,"slug":1416,"url":1417,"full_slug":1417,"_stopResolving":81},"Case Study zu KPIs beim A/B-Testing: Conversion, Retouren, Deckungsbeitrag",101806543924874,"conversion-deckungsbeitrag-case-study","de/experimentation/conversion-deckungsbeitrag-case-study",{"text":1419,"type":513},". Die Daten dazu lassen sich durch eine Verknüpfung zwischen Testing Tool und Data Warehouse (DWH) analysieren (siehe Statistik-Falle #8).",{"_uid":1421,"image":1422,"caption":1426,"component":936},"fec5dfa9-4719-45fc-b54b-99ed31324f5e",{"alt":1423,"src":1424,"name":30,"focus":30,"title":118,"source":30,"filename":1424,"copyright":30,"fieldtype":49,"meta_data":1425,"is_external_url":81},"Abbildung 6: Macro-Conversions haben eine höhere Priorität als Micro-Conversions.","https://storage.googleapis.com/kk-website-assets/s8IAwM-__Statistik-Falle-6-610x244.png",{"alt":1423,"title":118,"source":30,"copyright":30},{"type":39,"content":1427},[1428],{"type":42,"content":1429},[1430],{"text":1423,"type":513},{"_uid":1432,"text":1433,"component":924},"71324534-d9c4-4ea6-a439-62759edfcf45",{"type":39,"content":1434},[1435,1440,1459,1464,1469,1474,1479],{"type":942,"attrs":1436,"content":1437},{"level":1246,"textAlign":118},[1438],{"text":1439,"type":513},"Micro-Conversions nur als Diagnose-Instrumente",{"type":42,"attrs":1441,"content":1442},{"textAlign":118},[1443,1445,1457],{"text":1444,"type":513},"Das heißt natürlich nicht, dass Du Micro-Conversions wie Klickraten oder Seitenaufrufe nicht anschauen solltest. Sie sollten jedoch nicht dazu dienen, den Erfolg eines Konzepts letztendlich zu beurteilen sondern maximal als ",{"text":1446,"type":513,"marks":1447},"Diagnoseinstrumente",[1448],{"type":955,"attrs":1449},{"href":1450,"uuid":1451,"anchor":118,"target":1083,"linktype":31,"story":1452},"/de/experimentation/vor-und-nachteile-von-micro-conversions-als-testing-goal","ff9b0642-cb2a-4370-9f73-2e97596f24df",{"name":1453,"id":1454,"uuid":1451,"slug":1455,"url":1456,"full_slug":1456,"_stopResolving":81},"Micro-Conversions als Testing-Goal (Für und Wider)",101807643598701,"vor-und-nachteile-von-micro-conversions-als-testing-goal","de/experimentation/vor-und-nachteile-von-micro-conversions-als-testing-goal",{"text":1458,"type":513},".",{"type":42,"attrs":1460,"content":1461},{"textAlign":118},[1462],{"text":1463,"type":513},"Mal angenommen, Du testest eine optimierte Variante der Meta-Navigation und möchtest herausfinden ob die Kunden mehr kaufen. Überraschenderweise zeigen die Ergebnisse keinerlei Änderungen in der Conversion Rate oder dem Revenue. Verwenden die Kunden die neue Navigation genauso wie die alte? Oder andere Einstiegspunkte, wie die Side-Navi, Suche oder Kategorie-Teaser?",{"type":42,"attrs":1465,"content":1466},{"textAlign":118},[1467],{"text":1468,"type":513},"In einem solchen Fall kann es hilfreich sein, wenn Du dir die Klickraten auf Navigationselemente oder die Nutzung der internen Suche in den Varianten anschaust. So kommst Du der Antwort nach dem „Warum“ ein Stück näher und kannst das Verhalten Deiner Kunden besser verstehen.",{"type":942,"attrs":1470,"content":1471},{"level":1246,"textAlign":118},[1472],{"text":1473,"type":513},"Testgröße auf die KPI abstimmen",{"type":42,"attrs":1475,"content":1476},{"textAlign":118},[1477],{"text":1478,"type":513},"Oft beobachtet man in laufenden Tests, dass es nach relativ kurzer Zeit bereits signifikante Uplifts in den Micro-Conversions, wie Add-to-Basket oder Klicks gibt. In der Conversion Rate ist aber nichts zu sehen.",{"type":42,"attrs":1480,"content":1481},{"textAlign":118},[1482],{"text":1483,"type":513},"Tatsächlich gibt es einen Zusammenhang zwischen der Art der KPI und der benötigten Testgröße. Das liegt an den Schwankungen und der Unsicherheit, die je nach KPI variieren: Je höher diese Unsicherheiten sind, desto länger muss der Test laufen, um signifikante Effekte nachzuweisen.",{"_uid":1485,"image":1486,"caption":1490,"component":936},"602240bd-2475-4cb5-979c-cd8b66595956",{"alt":1487,"src":1488,"name":30,"focus":30,"title":118,"source":30,"filename":1488,"copyright":30,"fieldtype":49,"meta_data":1489,"is_external_url":81},"Abbildung 7: Je stärker eine KPI schwankt, desto länger muss der Test laufen.","https://storage.googleapis.com/kk-website-assets/AoLV7jkB_Statistik-Falle-7-610x225.png",{"alt":1487,"title":118,"source":30,"copyright":30},{"type":39,"content":1491},[1492],{"type":42,"content":1493},[1494],{"text":1487,"type":513},{"_uid":1496,"text":1497,"component":924},"fdf9a3fa-9c0a-44e7-afdd-7104c6b5546b",{"type":39,"content":1498},[1499,1508,1518,1529,1540,1545,1550,1555,1560,1576,1581,1586,1591],{"type":42,"attrs":1500,"content":1501},{"textAlign":118},[1502,1506],{"text":1503,"type":513,"marks":1504},"Klickraten",[1505],{"type":959},{"text":1507,"type":513}," oder Seitenaufrufe sind Zähldaten und haben eine relativ geringe Schwankungsbreite: Klick oder kein Klick.",{"type":42,"attrs":1509,"content":1510},{"textAlign":118},[1511,1513,1516],{"text":1512,"type":513},"Bei der ",{"text":1380,"type":513,"marks":1514},[1515],{"type":959},{"text":1517,"type":513}," sieht das schon anders aus. Ob jemand tatsächlich kauft oder nicht, wird von weiteren Faktoren beeinflusst, die dazu führen, dass die Unsicherheit über diese KPI steigt.",{"type":42,"attrs":1519,"content":1520},{"textAlign":118},[1521,1523,1527],{"text":1522,"type":513},"Um Effekte in den ",{"text":1524,"type":513,"marks":1525},"Umsatz-KPIs",[1526],{"type":959},{"text":1528,"type":513},", wie dem Warenkorbwert nachzuweisen, benötigt man in der Regel (je nach Testkonzept) eine noch größere Sample Size als bei der Conversion Rate. Bei diesen sogenannten metrischen KPIs besteht zusätzlich Unsicherheit über die Höhe des Kaufs, wenn ein Nutzer denn überhaupt kauft.",{"type":42,"attrs":1530,"content":1531},{"textAlign":118},[1532,1534,1538],{"text":1533,"type":513},"Möchte man auf die ",{"text":1535,"type":513,"marks":1536},"Umsatzwerte nach Retoure",[1537],{"type":959},{"text":1539,"type":513}," optimieren, sollte man die Testgröße weiter erhöhen. Bei dieser KPI ist es mit am schwierigsten, verlässliche Aussagen zu treffen. Wenn jemand kauft, wieviel kauft er dann und wenn er retourniert, wieviel retourniert er dann? Die Unsicherheit steigt weiter was eine längere Testlaufzeit erforderlich macht.",{"type":42,"attrs":1541,"content":1542},{"textAlign":118},[1543],{"text":1544,"type":513},"Um sicherzustellen, dass Du tatsächlich verlässliche Ergebnisse bekommst, solltest Du Dir zuerst Gedanken darüber machen, welche KPI Du als Haupt-KPI des Tests siehst und dann die Testgröße entsprechend darauf abstimmen.",{"type":942,"attrs":1546,"content":1547},{"level":1246,"textAlign":118},[1548],{"text":1549,"type":513},"Nicht zu viele Metriken messen",{"type":42,"attrs":1551,"content":1552},{"textAlign":118},[1553],{"text":1554,"type":513},"Je mehr KPIs man hat, desto schwieriger mag am Ende die Entscheidung sein. Dies lässt sich zwar durch eine vernünftige Priorisierung vereinfachen, jedoch solltest Du dir bereits vor dem Test Gedanken darüber machen, welche Macro- und Micro-Conversions Du wirklich benötigst. Misst man wahllos alles, was man im Tool messen kann, verliert man am Ende das Ziel aus den Augen. Eine sehr hohe Anzahl von Metriken führt außerdem dazu, dass die Wahrscheinlichkeit steigt, in einer Metrik einen Effekt zu finden, der rein zufällig entstanden ist.",{"type":942,"attrs":1556,"content":1557},{"level":944,"textAlign":118},[1558],{"text":1559,"type":513},"Statistik-Falle #4:",{"type":42,"attrs":1561,"content":1562},{"textAlign":118},[1563,1565,1569,1571,1575],{"text":1564,"type":513},"„Auf keinen Fall als multivariaten Test. ",{"text":1566,"type":513,"marks":1567},"Viel zu aufwendig",[1568],{"type":959},{"text":1570,"type":513}," und die Ergebnisse sind sowieso ",{"text":1572,"type":513,"marks":1573},"nicht valide",[1574],{"type":959},{"text":1233,"type":513},{"type":42,"attrs":1577,"content":1578},{"textAlign":118},[1579],{"text":1580,"type":513},"Kommt drauf an, wie man´s macht. Richtig aufgesetzt sind multivariate Tests ein tolles Werkzeug, um Faktoren und Kombinationen zu testen. Dass man mit einem MVT mehrere Faktoren auf einer Seite gleichzeitig testen kann, klingt kompliziert. Muss es aber gar nicht sein. Es gibt nur ein paar Regeln, die Du beachten solltest:",{"type":942,"attrs":1582,"content":1583},{"level":1246,"textAlign":118},[1584],{"text":1585,"type":513},"Teste nicht zu viele Varianten",{"type":42,"attrs":1587,"content":1588},{"textAlign":118},[1589],{"text":1590,"type":513},"Auch bei einem MVT mit mehreren Varianten tritt das Problem der Alpha-Fehler-Kumulierung auf. Um zu verhindern, dass Du eine Variante zu einem Gewinner erklärst, obwohl sie gar keiner ist, solltest Du auch hier die Anzahl der Kombinationen so gut es geht begrenzen.",{"type":42,"attrs":1592,"content":1593},{"textAlign":118},[1594],{"text":1595,"type":513},"Auf Basis einer guten Hypothesenbildung sollten Faktoren und deren Kombinationen mit Bedacht gewählt werden. Zudem kannst Du mit einem höheren Konfidenzniveau arbeiten (zum Beispiel 99,5 %), um sicher zu stellen, dass die Ergebnisse valide sind.",{"_uid":1597,"image":1598,"caption":1602,"component":936},"763706c1-bc4d-4ca8-9639-40576a509479",{"alt":1599,"src":1600,"name":30,"focus":30,"title":118,"source":30,"filename":1600,"copyright":30,"fieldtype":49,"meta_data":1601,"is_external_url":81},"Abbildung 8: Den Ergebnissen eines MVT sollte man nicht blind vertrauen.","https://storage.googleapis.com/kk-website-assets/bn0zgPhM_Statistik-Falle-8-610x363.png",{"alt":1599,"title":118,"source":30,"copyright":30},{"type":39,"content":1603},[1604],{"type":42,"content":1605},[1606],{"text":1599,"type":513},{"_uid":1608,"text":1609,"component":924},"9a8b2f0b-b46c-4b1b-a574-40011d028211",{"type":39,"content":1610},[1611,1615,1620],{"type":42,"content":1612},[1613],{"text":1614,"type":513},"Zuerst schaut man bei den Ergebnissen eines MVT natürlich darauf, welche Variante den höchsten (und signifikanten) Uplift erzielt hat. Dabei erhält man aber nur Informationen darüber, welche Kombination von Faktoren welchen Uplift erzielt. Darüber hinaus ist es aber wichtig, zu analysieren, wie hoch der Einfluss einzelner Faktoren auf die Conversion Rate ist. Das kann man mit Hilfe einer sogenannten Varianzanalyse machen. Diese isoliert den Effekt der einzelnen Faktoren (im Beispiel sind das Farbe und Layout) auf die Conversion Rate.",{"type":942,"attrs":1616,"content":1617},{"level":1246},[1618],{"text":1619,"type":513},"Validiere die Ergebnisse im Folgetest",{"type":42,"content":1621},[1622],{"text":1623,"type":513},"Um Dein Vertrauen in die Ergebnisse Deines MVT zu erhöhen, kannst Du den ermittelten Testsieger auch mit einem anschließenden A/B-Test validieren. Die Gewinnerkombination lässt Du dann einfach gegen die derzeitige Control laufen. Die Fehlerwahrscheinlichkeit, einen falschen Gewinner zu deklarieren, reduziert sich so auf die üblichen 5%.",{"_uid":1625,"image":1626,"caption":1630,"component":936},"3421efe6-bcce-46a5-adbf-07ac877f1924",{"alt":1627,"src":1628,"name":30,"focus":30,"title":118,"source":30,"filename":1628,"copyright":30,"fieldtype":49,"meta_data":1629,"is_external_url":81},"Abbildung 9: Mit Hilfe einer Varianzanalyse lassen sich Effekte einzelner Faktoren, z.B. Farbe und Layout, isoliert berechnen.","https://storage.googleapis.com/kk-website-assets/sMkw1wyk_Statistik-Falle-9-610x257.png",{"alt":1627,"title":118,"source":30,"copyright":30},{"type":39,"content":1631},[1632],{"type":42,"content":1633},[1634],{"text":1627,"type":513},{"_uid":1636,"text":1637,"component":924},"d23221d2-c8bd-40e3-b96d-589bd4ad1820",{"type":39,"content":1638},[1639,1646,1651,1662,1667,1681],{"type":42,"attrs":1640,"content":1641},{"textAlign":118},[1642],{"text":1643,"type":513,"marks":1644},"DER TEST IST ONLINE",[1645],{"type":959},{"type":942,"attrs":1647,"content":1648},{"level":944,"textAlign":118},[1649],{"text":1650,"type":513},"Statistik-Falle #5:",{"type":42,"attrs":1652,"content":1653},{"textAlign":118},[1654,1656,1660],{"text":1655,"type":513},"„Der Test ",{"text":1657,"type":513,"marks":1658},"läuft schon drei Tage",[1659],{"type":959},{"text":1661,"type":513}," und die Variante perfomt schlechter. Wir sollten den Test stoppen.“",{"type":42,"attrs":1663,"content":1664},{"textAlign":118},[1665],{"text":1666,"type":513},"Klar, es mag gute Gründe geben, einen Test vorzeitig zu beenden. Zum Beispiel wenn Umsatz-Ziele durch eine signifikant schlecht performende Testvariante bedroht sind.",{"type":42,"attrs":1668,"content":1669},{"textAlign":118},[1670,1672,1679],{"text":1671,"type":513},"Um aber mit Hilfe eines Tests über den Erfolg oder Misserfolg eines Konzepts zu entscheiden, reichen drei Tage nicht aus. Jeder Test benötigt eine ",{"text":1673,"type":513,"marks":1674},"minimale Testgröße",[1675],{"type":955,"attrs":1676},{"href":1677,"uuid":569,"anchor":118,"target":1083,"linktype":31,"story":1678},"/de/tools/testlaufzeitrechner",{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570,"_stopResolving":81},{"text":1680,"type":513},", um überhaupt etwas darüber sagen zu können, ob ein Konzept funktioniert oder nicht.",{"type":42,"attrs":1682,"content":1683},{"textAlign":118},[1684,1686,1692],{"text":1685,"type":513},"Gerade in den ersten Tagen nach dem Teststart beobachtet man im Tool oft ein wildes Hin und Her der Linien. Es kann sogar sein, dass die Testvariante schlechter gestartet ist. Vielleicht hat ein Kunde rein zufällig in der Control soviel bestellt, dass sie künstlich nach oben gezogen wird und der Test einen ",{"text":1687,"type":513,"marks":1688},"temporären Downlif",[1689],{"type":955,"attrs":1690},{"href":1691,"uuid":118,"anchor":118,"target":118,"linktype":136},"http://www.exp-platform.com/Documents/puzzlingOutcomesInControlledExperiments.pdf",{"text":1693,"type":513},"t aufweist (siehe Statistik-Falle #8).",{"_uid":1695,"image":1696,"caption":1700,"component":936},"bfa4becb-19b5-4790-bbc4-3fdd1858c8e0",{"alt":1697,"src":1698,"name":30,"focus":30,"title":118,"source":30,"filename":1698,"copyright":30,"fieldtype":49,"meta_data":1699,"is_external_url":81},"Abbildung 10: Gerade zu Beginn eines Tests schwanken die Testergebnisse sehr stark. Diesen Zahlen solltest Du nicht trauen.","https://storage.googleapis.com/kk-website-assets/IZZflPJe_Statistik-Falle-10-610x263.png",{"alt":1697,"title":118,"source":30,"copyright":30},{"type":39,"content":1701},[1702],{"type":42,"content":1703},[1704],{"text":1697,"type":513},{"_uid":1706,"text":1707,"component":924},"8fc8f9ef-82a5-438f-a05b-a6576974436e",{"type":39,"content":1708},[1709,1722],{"type":42,"attrs":1710,"content":1711},{"textAlign":118},[1712,1714,1720],{"text":1713,"type":513},"Schon oft habe ich bei Tests beobachtet, dass sich anfangs negative Effekte mit der Zeit umdrehen und die Testvariante nach drei Wochen einen signifikant positiven Effekt zeigt. Schon vor dem Teststart kannst Du mit Hilfe unseres ",{"text":1715,"type":513,"marks":1716},"Tools zur Testdauerberechnung",[1717],{"type":955,"attrs":1718},{"href":1677,"uuid":569,"anchor":118,"target":1083,"linktype":31,"story":1719},{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570,"_stopResolving":81},{"text":1721,"type":513}," schätzen, wie lange ein Test laufen muss (die Excel-Datei kannst Du am Ende des Artikels herunterladen).",{"type":42,"attrs":1723,"content":1724},{"textAlign":118},[1725],{"text":1726,"type":513},"Zeigt ein Test in der Anfangszeit keine signifikanten Downlifts, heißt es bis dahin schlichtweg: Keep calm and continue testing.",{"_uid":1728,"image":1729,"caption":1733,"component":936},"2325362c-8c60-407f-953a-abba3a1cc1a4",{"alt":1730,"src":1731,"name":30,"focus":30,"title":118,"source":30,"filename":1731,"copyright":30,"fieldtype":49,"meta_data":1732,"is_external_url":81},"Abbildung 11: Vor jedem Test solltest Du eine Sample Size Schätzung durchführen.","https://storage.googleapis.com/kk-website-assets/4n_OW16A_Statistik-Falle-11-610x366.png",{"alt":1730,"title":118,"source":30,"copyright":30},{"type":39,"content":1734},[1735],{"type":42,"content":1736},[1737],{"text":1730,"type":513},{"_uid":1739,"text":1740,"component":924},"52ee29d8-9b3a-4b49-b203-1ed559ec3a63",{"type":39,"content":1741},[1742,1754,1759,1781,1786,1791,1796,1801,1820,1827,1852,1857,1874,1893,1898,1903],{"type":942,"attrs":1743,"content":1744},{"level":944,"textAlign":118},[1745],{"type":1746,"attrs":1747,"marks":1750},"image",{"id":118,"alt":118,"src":1748,"title":118,"source":30,"copyright":30,"meta_data":1749},"https://storage.googleapis.com/kk-website-assets/rNqhPg-I_Download-CTA.png",{"alt":118,"title":118,"source":30,"copyright":30},[1751],{"type":955,"attrs":1752},{"href":1753,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/download-bibliothek",{"type":942,"attrs":1755,"content":1756},{"level":944,"textAlign":118},[1757],{"text":1758,"type":513},"Statistik-Falle #6:",{"type":42,"attrs":1760,"content":1761},{"textAlign":118},[1762,1764,1768,1770,1774,1776,1780],{"text":1763,"type":513},"„Kein Problem. Wenn die eine ",{"text":1765,"type":513,"marks":1766},"Variante",[1767],{"type":959},{"text":1769,"type":513}," nicht funktioniert, ",{"text":1771,"type":513,"marks":1772},"ändern",[1773],{"type":959},{"text":1775,"type":513}," wir sie oder ",{"text":1777,"type":513,"marks":1778},"schalten sie einfach ab",[1779],{"type":959},{"text":1233,"type":513},{"type":42,"attrs":1782,"content":1783},{"textAlign":118},[1784],{"text":1785,"type":513},"Ich bin sicher, das passiert ständig und manchmal gibt es auch sehr gute Gründe dafür. Performt eine Testvariante über mehrere Tage so schlecht, dass relevante Business Ziele bedroht sind, ist es sinnvoll diese Variante aus dem Rennen zu nehmen.",{"type":42,"attrs":1787,"content":1788},{"textAlign":118},[1789],{"text":1790,"type":513},"Oft werden Varianten auch mit geringem Traffic-Anteil gestartet, welcher dann über die Zeit hinweg erhöht wird (Ramp-Up). Oder Varianten werden mitten im Test verändert.",{"type":42,"attrs":1792,"content":1793},{"textAlign":118},[1794],{"text":1795,"type":513},"Alle drei Aspekte können die Ergebnisse verzerren: Beim A/B-Testing sind die Testergebnisse repräsentativ für den gesamten Testzeitraum, und zwar in gleichen Teilen. Schraubt man zum Beispiel am Traffic, führt das dazu, dass gewisse Zeiträume über- oder unterrepräsentiert sind.",{"type":42,"attrs":1797,"content":1798},{"textAlign":118},[1799],{"text":1800,"type":513},"Den gleichen Effekt hat das Abschalten einer Variante mitten im Test. Verändert man den Content einer Variante, ist das Testergebnis eine skurrile Mischung aus unterschiedlichen Hypothesen und Konzepten, die am Ende gar keine Aussage mehr liefert.",{"type":42,"attrs":1802,"content":1803},{"textAlign":118},[1804,1806,1818],{"text":1805,"type":513},"Hier muss man eine gesunde ",{"text":1807,"type":513,"marks":1808},"Mischung aus wissenschaftlichem Anspruch an Validität und der praktischen Business Relevanz",[1809],{"type":955,"attrs":1810},{"href":1811,"uuid":1812,"anchor":118,"target":1083,"linktype":31,"story":1813},"/de/experimentation/conversion-whiteboard-1-u-modell-der-validitaet","82b69ae7-461c-4416-8155-cafeaf059c9b",{"name":1814,"id":1815,"uuid":1812,"slug":1816,"url":1817,"full_slug":1817,"_stopResolving":81},"Conversion Whiteboard 1: Das U-Modell der Validität",101807765196681,"conversion-whiteboard-1-u-modell-der-validitaet","de/experimentation/conversion-whiteboard-1-u-modell-der-validitaet",{"text":1819,"type":513}," finden.",{"type":42,"attrs":1821,"content":1822},{"textAlign":118},[1823],{"text":1824,"type":513,"marks":1825},"Folgende Tipps kannst Du mitnehmen:",[1826],{"type":959},{"type":1828,"content":1829},"bullet_list",[1830,1838,1845],{"type":1831,"content":1832},"list_item",[1833],{"type":42,"attrs":1834,"content":1835},{"textAlign":118},[1836],{"text":1837,"type":513},"Wird eine Variante bereits in den ersten Tagen nach Teststart abgeschaltet, empfiehlt es sich, den kompletten Test einfach ohne die Variante neu starten. Hier hält sich der Zeitverlust in Grenzen.",{"type":1831,"content":1839},[1840],{"type":42,"attrs":1841,"content":1842},{"textAlign":118},[1843],{"text":1844,"type":513},"Bevor Du Varianten während des Tests veränderst, starte lieber einen neuen Test und teste die angepasste Variante gegen die Control.",{"type":1831,"content":1846},[1847],{"type":42,"attrs":1848,"content":1849},{"textAlign":118},[1850],{"text":1851,"type":513},"Schraubst Du den Traffic von Tag zu Tag höher, dann stelle sicher, dass Du einen ausreichenden Testzeitraum mit der von dir gewünschten maximalen Traffic-Menge abdeckst, in dem der Traffic stabil über die Zeit bleibt.",{"type":942,"attrs":1853,"content":1854},{"level":944,"textAlign":118},[1855],{"text":1856,"type":513},"Statistik-Falle #7:",{"type":42,"attrs":1858,"content":1859},{"textAlign":118},[1860,1862,1866,1868,1872],{"text":1861,"type":513},"„Mit den neuen ",{"text":1863,"type":513,"marks":1864},"bayesianischen Testverfahren",[1865],{"type":959},{"text":1867,"type":513}," haben wir viel ",{"text":1869,"type":513,"marks":1870},"schneller",[1871],{"type":959},{"text":1873,"type":513}," Ergebnisse.“",{"type":42,"attrs":1875,"content":1876},{"textAlign":118},[1877,1879,1891],{"text":1878,"type":513},"Die neuen ",{"text":1880,"type":513,"marks":1881},"Statistik-Verfahren",[1882],{"type":955,"attrs":1883},{"href":1884,"uuid":1885,"anchor":118,"target":1083,"linktype":31,"story":1886},"/de/data-science/signifikanz-im-testing-tool","962637b1-6e4e-4c11-80f3-b972cf8f9316",{"name":1887,"id":1888,"uuid":1885,"slug":1889,"url":1890,"full_slug":1890,"_stopResolving":81},"Testing Insights: Was steckt hinter der Signifikanz in meinem Testing Tool?",101807704907648,"signifikanz-im-testing-tool","de/data-science/signifikanz-im-testing-tool",{"text":1892,"type":513},", die bereits von VWO und Optimizely eingesetzt werden, bieten vor allem den Vorteil, dass man zu jeder Zeit seine Testergebnisse interpretieren kann und valide Ergebnisse hat, auch wenn man die benötigte Testgröße noch nicht erreicht hat.",{"type":42,"attrs":1894,"content":1895},{"textAlign":118},[1896],{"text":1897,"type":513},"Jedoch schützen die bayesianischen Verfahren auch vor falscher Methodik nicht:",{"type":942,"attrs":1899,"content":1900},{"level":1246,"textAlign":118},[1901],{"text":1902,"type":513},"Das Problem mit den Erwartungen",{"type":42,"attrs":1904,"content":1905},{"textAlign":118},[1906],{"text":1907,"type":513},"Bayesianische Verfahren setzen voraus, dass man vor dem Teststart eine sogenannte a priori Annahme treffen muss, mit welcher Wahrscheinlichkeit das Testkonzept denn erfolgreich sein wird. Liegt man in seinen Annahmen falsch, riskiert man lange Testlaufzeiten und invalide Ergebnisse.",{"_uid":1909,"image":1910,"caption":1914,"component":936},"7e59db0c-21cd-4c0b-9e4b-ced7ed0be8d0",{"alt":1911,"src":1912,"name":30,"focus":30,"title":118,"source":30,"filename":1912,"copyright":30,"fieldtype":49,"meta_data":1913,"is_external_url":81},"Abbildung 12: Das VWO Reporting Interface.","https://storage.googleapis.com/kk-website-assets/knFmAqY8_Statistik-Falle-12-610x116.png",{"alt":1911,"title":118,"source":30,"copyright":30},{"type":39,"content":1915},[1916],{"type":42,"content":1917},[1918],{"text":1911,"type":513},{"_uid":1920,"text":1921,"component":924},"fd4fb80d-b438-4ad5-ae60-43904bc8d399",{"type":39,"content":1922},[1923,1928,1932,1938,1944,1954,1958,1962,1967],{"type":942,"attrs":1924,"content":1925},{"level":1246},[1926],{"text":1927,"type":513},"Das Problem mit der geringen Testgröße",{"type":42,"content":1929},[1930],{"text":1931,"type":513},"Die Ergebnisse sind zwar zu jedem Zeitpunkt während des Tests interpretierbar. Aber gerade zu Anfang, wo die Schwankungen noch sehr hoch sind, ist Vorsicht geboten. Die Anzahl der Visitors im Test ist noch sehr klein und wird von außergewöhnlichen Beobachtungen (z.B. sehr hohen Bestellwerten) stark beeinflusst. Denn trotz der Vorteile, die der bayesianische Ansatz bietet, gilt auch hier, dass die Methode bei geringen Datensätzen keine ausreichende Validität bietet. Die neueren Verfahren schützen also auch vor falscher Vorgehensweise beim A/B-Testing nicht (das Gleiche gilt im übrigen auch für die traditionellen Verfahren!).",{"type":42,"content":1933},[1934],{"text":1935,"type":513,"marks":1936},"AUSWERTUNG",[1937],{"type":959},{"type":942,"attrs":1939,"content":1941},{"id":1940,"level":944},"falle8",[1942],{"text":1943,"type":513},"Statistik-Falle #8:",{"type":42,"content":1945},[1946,1948,1952],{"text":1947,"type":513},"„Die ",{"text":1949,"type":513,"marks":1950},"Ergebnisse des Testing Tools reichen völlig aus",[1951],{"type":959},{"text":1953,"type":513},", um eine Entscheidung zu treffen.“",{"type":42,"content":1955},[1956],{"text":1957,"type":513},"Klar. Mit dem Testing Tool findet man heraus, ob ein getestetes Konzept zu einer höheren Conversion Rate führt oder nicht. Allerdings lohnt sich oft auch ein detaillierter Blick in die Testergebnisse um mehr Insights zu generieren und Ergebnisse zu validieren. Ergebnisse aus dem Testing Tool sollten nicht in einem Datensilo gelagert, sondern mit anderen Datenbanken, wie dem Webanalytics System oder dem DWH kombiniert werden.",{"type":42,"content":1959},[1960],{"text":1961,"type":513},"Damit kann man eine Reihe wichtiger Fragen beantworten:",{"type":942,"attrs":1963,"content":1964},{"level":1246},[1965],{"text":1966,"type":513},"Warum?",{"type":42,"content":1968},[1969],{"text":1970,"type":513},"Gerade wenn die Ergebnisse eines Tests nicht so sind wie erwartet, kommt sie, die Frage nach dem Warum. Wie in dem oben beschriebenen Beispiel zum Test der Meta-Navi (siehe Statistik-Falle #3) kann es sinnvoll sein, sich Micro-Conversions anzuschauen um Testergebnisse besser zu verstehen. Hat man vor dem Teststart versäumt, Klicks auf Navigationselemente oder die Nutzung der internen Suche als Goal einzurichten, lassen sich solche Fragen im Nachhinein nicht mit dem Testing Tool beantworten. Ist Dein Testing Tool hingegen mit dem Webanalytics Tool verknüpft, kannst Du dir diese Metriken anschauen.",{"_uid":1972,"image":1973,"caption":1977,"component":936},"8ee00bb7-50e2-472f-83a5-bf9dafc3a071",{"alt":1974,"src":1975,"name":30,"focus":30,"title":118,"source":30,"filename":1975,"copyright":30,"fieldtype":49,"meta_data":1976,"is_external_url":81},"Abbildung 13: Für ein umfassendes Kundenverständnis hilft eine gute Verbindung von Datenquellen.","https://storage.googleapis.com/kk-website-assets/-Xcwm6ON_Statistik-Falle-13-610x457.png",{"alt":1974,"title":118,"source":30,"copyright":30},{"type":39,"content":1978},[1979],{"type":42,"content":1980},[1981],{"text":1974,"type":513},{"_uid":1983,"text":1984,"component":924},"11f223b9-69c7-4294-883d-8cf41df65fb0",{"type":39,"content":1985},[1986,1991,1995,2000,2004,2031],{"type":942,"attrs":1987,"content":1988},{"level":1246},[1989],{"text":1990,"type":513},"Führt der Conversion Rate Uplift auch zu mehr Gewinn?",{"type":42,"content":1992},[1993],{"text":1994,"type":513},"Wenn Kunden aufgrund eines Optimierungskonzepts mehr bestellen, ist das gut. Wenn sie jedoch genauso viel oder noch mehr retournieren, kann das am Ende sogar einen Verlust bedeuten. Eine Verbindung zwischen Testing Tool und DWH ist also auch aus dem Grund sinnvoll, um das Ergebnis nach Retouren zu analysieren. Hier werden die Varianten IDs ins Backend übergeben und Du kannst dir die Retourenquoten oder die Netto-Umsätze als zusätzliche KPI in der Test- und Controlvariante anschauen.",{"type":942,"attrs":1996,"content":1997},{"level":1246},[1998],{"text":1999,"type":513},"Berücksichtigung von Vielbestellern",{"type":42,"content":2001},[2002],{"text":2003,"type":513},"Fast jeder Online Shop hat sie, und sie verursachen in der Regel Probleme bei der validen Auswertung eines Tests: Die Vielbesteller. Dazu können Call-Center, Kunden aus dem B2B-Bereich oder auch exzessive Online-Shopper gehören. Diese sogenannten Ausreißer verzerren die Ergebnisse. Warum ist das so? Nun ja, bei der Auswertung von Testergebnissen schaut man in der Regel auf Mittelwerte:",{"type":1828,"attrs":2005,"content":2006},{"tight":51},[2007,2019],{"type":1831,"content":2008},[2009],{"type":42,"content":2010},[2011,2013,2017],{"text":2012,"type":513},"Die Conversion Rate ist nichts anderes, als die ",{"text":2014,"type":513,"marks":2015},"durchschnittliche Bestellrate",[2016],{"type":959},{"text":2018,"type":513}," einer Gruppe von Besuchern.",{"type":1831,"content":2020},[2021],{"type":42,"content":2022},[2023,2025,2029],{"text":2024,"type":513},"Der Revenue per Visitor ist der ",{"text":2026,"type":513,"marks":2027},"durchschnittliche Bestellwert",[2028],{"type":959},{"text":2030,"type":513}," pro Besucher.",{"type":42,"content":2032},[2033],{"text":2034,"type":513},"Außergewöhnlich hohe Werte bei der Anzahl der Bestellungen oder den Warenkorbwerten ziehen diese Mittelwerte nach oben. Schon wenn die Control rein zufällig einige Kunden mit extrem hohen Werten aufweist, kann das bei relativ geringer Testgröße dazu führen, dass Ergebnisse nicht mehr positiv, sondern vielleicht sogar signifikant negativ werden.",{"_uid":2036,"image":2037,"caption":2041,"component":936},"c2fae9d5-1fd7-4e0a-81d3-c42caadefe57",{"alt":2038,"src":2039,"name":30,"focus":30,"title":118,"source":30,"filename":2039,"copyright":30,"fieldtype":49,"meta_data":2040,"is_external_url":81},"Abbildung 14: Durch eine Ausreißerbereinigung können sich Testergebnisse ändern.","https://storage.googleapis.com/kk-website-assets/1RSCjWQv_Statistik-Falle-14-610x229.png",{"alt":2038,"title":118,"source":30,"copyright":30},{"type":39,"content":2042},[2043],{"type":42,"content":2044},[2045],{"text":2038,"type":513},{"_uid":2047,"text":2048,"component":924},"40c6e21f-72f4-4c11-9e85-d50ce59b5ea3",{"type":39,"content":2049},[2050],{"type":42,"content":2051},[2052],{"text":2053,"type":513},"Was tun? Bei allen gängigen Testing Tools kann man Dateien mit den Rohdaten erhalten. Hier sind alle Bestellungen der Kunden aufgelistet. Eine andere Möglichkeit besteht darin, entsprechende Reports im angeknüpften Webanalytics Tool anzulegen und abnormal hohe Bestellungen durch entsprechende Filtersetzung auszuschließen.",{"_uid":2055,"image":2056,"caption":2060,"component":936},"2844c342-101a-428f-99ed-465cc5bcf92e",{"alt":2057,"src":2058,"name":30,"focus":30,"title":118,"source":30,"filename":2058,"copyright":30,"fieldtype":49,"meta_data":2059,"is_external_url":81},"Abbildung 15: Filter für Vielbesteller im Analytics Tool einrichten.","https://storage.googleapis.com/kk-website-assets/XQGk9lFk_Statistik-Falle-15-610x103.png",{"alt":2057,"title":118,"source":30,"copyright":30},{"type":39,"content":2061},[2062],{"type":42,"content":2063},[2064],{"text":2057,"type":513},{"_uid":2066,"text":2067,"component":924},"133938aa-de53-420d-952a-1ee910e3e2d8",{"type":39,"content":2068},[2069,2073,2078],{"type":42,"content":2070},[2071],{"text":2072,"type":513},"Auch wenn das mit ein wenig Aufwand verbunden ist, lohnt sich der Blick in die Rohdaten, da man so oft signifikante Effekte entdeckt, die Durch die Ausreißer „versteckt“ waren.",{"type":942,"attrs":2074,"content":2075},{"level":1246},[2076],{"text":2077,"type":513},"Für die Daten-Freaks: Valide Berechnung von Konfidenzintervallen",{"type":42,"content":2079},[2080],{"text":2081,"type":513},"Klassische Methoden zur Berechnung von Konfidenzintervallen haben ein Problem: Sie unterstellen, dass die zugrunde liegenden Daten einer bestimmten Verteilung, nämlich der Normalverteilung, folgen. Die linke Grafik zeigt eine perfekte (theoretische) Normalverteilung. Die Anzahl der Bestellungen schwankt um einen positiven Mittelwert. Der Großteil der Kunden bestellt im Beispiel 5 mal. Weniger oder mehr Bestellungen kommen weniger oft vor. Die rechte Grafik zeigt die Realität.",{"_uid":2083,"image":2084,"caption":2088,"component":936},"be7aeae0-ac79-497f-aa8b-931b022d63b4",{"alt":2085,"src":2086,"name":30,"focus":30,"title":118,"source":30,"filename":2086,"copyright":30,"fieldtype":49,"meta_data":2087,"is_external_url":81},"Abbildung 16: Theorie und Praxis.","https://storage.googleapis.com/kk-website-assets/_fwgqISE_Statistik-Falle-16-610x358.png",{"alt":2085,"title":118,"source":30,"copyright":30},{"type":39,"content":2089},[2090],{"type":42,"content":2091},[2092],{"text":2085,"type":513},{"_uid":2094,"text":2095,"component":924},"f54c65ee-5da8-4350-8a1d-bb8ba9505dd8",{"type":39,"content":2096},[2097,2102,2115,2120,2165,2170,2181],{"type":42,"attrs":2098,"content":2099},{"textAlign":118},[2100],{"text":2101,"type":513},"Bei einer durchschnittlichen Conversion Rate von 5% bleiben 95% Kunden, die nicht kaufen. Der Großteil der Käufer hat wahrscheinlich eine oder zwei Bestellungen getätigt und dann gibt es noch die wenigen Kunden, die extrem viel bestellen.",{"type":42,"attrs":2103,"content":2104},{"textAlign":118},[2105,2107,2113],{"text":2106,"type":513},"Solche Verteilungen nennt man „rechtsschief“ (right skewed) und sie haben vor allem bei geringer Testgröße einen Einfluss auf die Validität der Konfidenzintervalle. Diese sind dann nicht mehr verlässlich zu berechnen. Der zentrale Grenzwertsatz führt bei sehr großen Stichproben dazu, dass diese Verzerrungen weniger ins Gewicht fallen. Aber wie „falsch“ die Konfidenzintervalle tätsächlich sind, hängt auch davon ab, wie stark die Daten von einer perfekten Normalverteilung abweichen. Da in einem durchschnittlichen Onlineshop mindestens 90% der Kunden nicht kaufen, ist der Anteil der „Nullen“ im Datensatz extrem und die Abweichungen in aller Regel enorm (mit dem ",{"text":2108,"type":513,"marks":2109},"Shapiro-Wilk-Test",[2110],{"type":955,"attrs":2111},{"href":2112,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Shapiro-Wilk-Test",{"text":2114,"type":513}," kannst Du deine Daten auf Normalverteilung testen).",{"type":42,"attrs":2116,"content":2117},{"textAlign":118},[2118],{"text":2119,"type":513},"Aufgrund dieser Probleme lohnt sich ein Blick abseits des klassischen t-Tests. Es gibt weitere Methoden, die bei nicht-normalverteilten Daten verlässliche Ergebnisse liefern:",{"type":1828,"content":2121},[2122,2140,2150],{"type":1831,"content":2123},[2124],{"type":42,"attrs":2125,"content":2126},{"textAlign":118},[2127,2129,2135,2137,2138],{"text":2128,"type":513},"**",{"text":2130,"type":513,"marks":2131},"U-Test",[2132],{"type":955,"attrs":2133},{"href":2134,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Wilcoxon-Mann-Whitney-Test",{"text":2136,"type":513},"**\u2028",{"type":961},{"text":2139,"type":513},"Der Mann-Whitney U-Test (=Wilcoxon-Rangsummentest) ist eine Alternative zum t-Test, wenn die Daten stark von der Normalverteilung abweichen.",{"type":1831,"content":2141},[2142],{"type":42,"attrs":2143,"content":2144},{"textAlign":118},[2145,2147,2148],{"text":2146,"type":513},"**Robuste Statistik**\u2028",{"type":961},{"text":2149,"type":513},"Methoden aus der robusten Statistik werden verwendet, wenn Daten nicht normalverteilt sind oder durch Ausreißer verzerrt werden. Hier werden Mittelwerte und Varianzen so berechnet, dass sie nicht von außergewöhnlich hohen oder niedrigen Werten beeinflusst werden.",{"type":1831,"content":2151},[2152],{"type":42,"attrs":2153,"content":2154},{"textAlign":118},[2155,2162,2163],{"text":2156,"type":513,"marks":2157},"Bootstrapping",[2158,2161],{"type":955,"attrs":2159},{"href":2160,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Bootstrapping_(Statistik)",{"type":959},{"type":961},{"text":2164,"type":513},"Dieses sogenannte nicht-parametrische Verfahren arbeitet unabhängig von jeder Verteilungsannahme und liefert verlässliche Schätzungen für Konfidenzniveau und Intervalle. Im Kern gehört es zu den Resampling-Methoden, welche auf Basis der beobachteten Daten durch Stichprobenziehungen die Verteilungen von Variablen verlässlich schätzen.",{"type":942,"attrs":2166,"content":2167},{"level":944,"textAlign":118},[2168],{"text":2169,"type":513},"Statistik-Falle #9:",{"type":42,"attrs":2171,"content":2172},{"textAlign":118},[2173,2175,2179],{"text":2174,"type":513},"„Ich schaue mir jetzt mal die ",{"text":2176,"type":513,"marks":2177},"Ergebnisse in den Segmenten",[2178],{"type":959},{"text":2180,"type":513}," an. Irgendwo finde ich bestimmt einen Uplift.“",{"type":42,"attrs":2182,"content":2183},{"textAlign":118},[2184],{"text":2185,"type":513},"Generell ist das schon eine gute Idee. Die Ergebnisse eines A/B-Tests werden in der Regel über alle Besucher reportet. Dabei kann es aber Kundengruppen geben, die besonders gut oder schlecht auf ein bestimmtes Testkonzept reagieren.",{"_uid":2187,"image":2188,"caption":2192,"component":936},"c77b11fe-1c7a-4069-a534-7ae7ea4f3dcc",{"alt":2189,"src":2190,"name":30,"focus":30,"title":118,"source":30,"filename":2190,"copyright":30,"fieldtype":49,"meta_data":2191,"is_external_url":81},"Abbildung 17: Segmentierung in profitable und nicht profitable Kundengruppen.","https://storage.googleapis.com/kk-website-assets/zMoAJ_MN_Statistik-Falle-17-610x358.png",{"alt":2189,"title":118,"source":30,"copyright":30},{"type":39,"content":2193},[2194],{"type":42,"content":2195},[2196],{"text":2189,"type":513},{"_uid":2198,"text":2199,"component":924},"08720674-8c0b-407a-9414-ea4341f27a0d",{"type":39,"content":2200},[2201,2206,2225],{"type":42,"attrs":2202,"content":2203},{"textAlign":118},[2204],{"text":2205,"type":513},"Ein beliebtes Beispiel sind Unique Value Propositions (UVP), also Merkmale, die einen Online Shop einzigartig machen. Oft beobachtete man, dass es hier unterschiedliche Effekte bei Neu- und Bestandskunden gibt. Während Bestandskunden die Vorzüge eines Kaufs schon kennen, helfen UVPs dabei, Neukunden vom Kauf zu überzeugen und Vertrauen aufzubauen. Diese unterschiedlichen Reaktionen werden mit den aggregierten Reports in der Regel aber nicht aufgedeckt und man ist enttäuscht ,weil sich overall kein signifikanter Uplift nachweisen lässt.",{"type":42,"attrs":2207,"content":2208},{"textAlign":118},[2209,2211,2223],{"text":2210,"type":513},"Durch eine Verbindung von Testing Tool mit anderen Datenquellen (Web Analytics, DWH), kannst Du die Testergebnisse für eine Reihe von ",{"text":2212,"type":513,"marks":2213},"Kundeneigenschaften",[2214],{"type":955,"attrs":2215},{"href":2216,"uuid":2217,"anchor":118,"target":1083,"linktype":31,"story":2218},"/de/personalization/personalisierung-in-vier-schritten-mit-kundendaten","728f3744-8713-4c49-aaed-618071363edb",{"name":2219,"id":2220,"uuid":2217,"slug":2221,"url":2222,"full_slug":2222,"_stopResolving":81},"4 Schritte, wie man Kundendaten für eine erfolgreiche Personalisierung nutzt",101807759179656,"personalisierung-in-vier-schritten-mit-kundendaten","de/personalization/personalisierung-in-vier-schritten-mit-kundendaten",{"text":2224,"type":513}," analysieren, die in deinem Testing Tool nicht verfügbar sind, zum Beispiel:",{"type":1828,"content":2226},[2227,2234,2241,2248,2255,2262,2269,2276],{"type":1831,"content":2228},[2229],{"type":42,"attrs":2230,"content":2231},{"textAlign":118},[2232],{"text":2233,"type":513},"Geschlecht",{"type":1831,"content":2235},[2236],{"type":42,"attrs":2237,"content":2238},{"textAlign":118},[2239],{"text":2240,"type":513},"Alter",{"type":1831,"content":2242},[2243],{"type":42,"attrs":2244,"content":2245},{"textAlign":118},[2246],{"text":2247,"type":513},"Kategorien, in denen jemand kauft",{"type":1831,"content":2249},[2250],{"type":42,"attrs":2251,"content":2252},{"textAlign":118},[2253],{"text":2254,"type":513},"Besuchte Seiten",{"type":1831,"content":2256},[2257],{"type":42,"attrs":2258,"content":2259},{"textAlign":118},[2260],{"text":2261,"type":513},"Daten zum Klickverhalten",{"type":1831,"content":2263},[2264],{"type":42,"attrs":2265,"content":2266},{"textAlign":118},[2267],{"text":2268,"type":513},"Retourenquote",{"type":1831,"content":2270},[2271],{"type":42,"attrs":2272,"content":2273},{"textAlign":118},[2274],{"text":2275,"type":513},"Geolocation",{"type":1831,"content":2277},[2278],{"type":42,"attrs":2279,"content":2280},{"textAlign":118},[2281],{"text":2282,"type":513},"…",{"_uid":2284,"image":2285,"caption":2289,"component":936},"1ceaede0-7fa0-4ab9-84bc-6f2b7d1cd20d",{"alt":2286,"src":2287,"name":30,"focus":30,"title":118,"source":30,"filename":2287,"copyright":30,"fieldtype":49,"meta_data":2288,"is_external_url":81},"Abbildung 18: Auch bei Ergebnissen in den Segmenten ist eine Konfidenzanalyse Pflicht.","https://storage.googleapis.com/kk-website-assets/Og64ghpS_Statistik-Falle-18-610x418.png",{"alt":2286,"title":118,"source":30,"copyright":30},{"type":39,"content":2290},[2291],{"type":42,"content":2292},[2293],{"text":2286,"type":513},{"_uid":2295,"text":2296,"component":924},"23eebf02-2009-4e30-9f2c-3f8c13bcb67c",{"type":39,"content":2297},[2298,2303,2320,2325,2341,2346,2351,2356,2375,2380,2385,2390,2395],{"type":42,"attrs":2299,"content":2300},{"textAlign":118},[2301],{"text":2302,"type":513},"Allerdings ist hier Vorsicht geboten. Die Fehlerwahrscheinlichkeit, Stichwort Alpha-Fehler Kumulierung) erhöht sich exponentiell, je mehr Segmente man miteinander vergleicht. Folglich solltest Du vermeiden, wahllos die Segmente zu durchforsten. Sie sollten immer interpretierbar bleiben und auch relevant für das Testkonzept sein.",{"type":42,"attrs":2304,"content":2305},{"textAlign":118},[2306,2308,2318],{"text":2307,"type":513},"Außerdem gilt es, darauf zu achten, dass die Segmente ausreichend groß sind. Je spezieller man Segmente definiert, desto geringer wird die Sample Size und die Verlässlichkeit der Ergebnisse. Schaut man sich zum Beispiel nur Besucher an, die über ihr Tablet auf einer Kategorieseite einsteigen, danach auf eine Produktseite gehen, weiblich sind und vor allem am Wochenende kaufen, führt das dazu, dass man nur einen Bruchteil aller Besucher anschaut. Achte also stets darauf, dass die Testgröße auch in den Segmenten ausreichend ist. Weißt Du schon vor dem Test, dass Du eine Segmentierung vornehmen wirst, empfiehlt es sich, die Testdauer von vorne herein mindestens zu verdoppeln. Mit dem ",{"text":2309,"type":513,"marks":2310},"konversionsKRAFT Signifkanzrechner",[2311],{"type":955,"attrs":2312},{"href":2313,"uuid":359,"anchor":118,"target":1083,"linktype":31,"story":2314},"/de/tools/",{"name":2315,"id":2316,"uuid":359,"slug":2317,"url":360,"full_slug":360,"_stopResolving":81},"Statistik-Tools für Optimierer",62127313058943,"tools",{"text":2319,"type":513}," kannst Du prüfen, wie sicher die Ergebnisse in dem jeweiligen Segment sind.",{"type":942,"attrs":2321,"content":2322},{"level":944,"textAlign":118},[2323],{"text":2324,"type":513},"Statistik-Falle #10:",{"type":42,"attrs":2326,"content":2327},{"textAlign":118},[2328,2330,2334,2336,2340],{"text":2329,"type":513},"„Der Test war wohl ",{"text":2331,"type":513,"marks":2332},"doch nicht so erfolgreich",[2333],{"type":959},{"text":2335,"type":513},". Wir haben das Konzept ausgerollt, aber die ",{"text":2337,"type":513,"marks":2338},"Conversion Rate steigt nicht",[2339],{"type":959},{"text":1233,"type":513},{"type":42,"attrs":2342,"content":2343},{"textAlign":118},[2344],{"text":2345,"type":513},"Oft werden auf Basis von Testergebnissen Hochrechnungen erstellt, wie viel zusätzlicher Umsatz in der Zukunft damit erzeugt wird. Heraus kommen schöne Folien, auf denen suggeriert wird, dass durch das eine Testkonzept mit einem Umsatzplus von 40% in den nächsten zwei Jahren zu rechnen ist. Klingt toll, aber ist das wirklich so?",{"type":42,"attrs":2347,"content":2348},{"textAlign":118},[2349],{"text":2350,"type":513},"Sorry für die harten Worte, aber: Bitte tu es nicht! Das Ergebnis einer solchen Hochrechnung ist so verlässlich, als würde ich sagen, dass es heute in drei Monaten regnen wird. Das würdest Du auch nicht glauben oder? Das Ergebnis von Tests einfach linear in die Zukunft zu prognostizieren funktioniert aus folgenden Gründen nicht:",{"type":942,"attrs":2352,"content":2353},{"level":1246,"textAlign":118},[2354],{"text":2355,"type":513},"Grund 1: Kurz – vs. langfristige Effekte",{"type":42,"attrs":2357,"content":2358},{"textAlign":118},[2359,2361,2373],{"text":2360,"type":513},"In der Regel misst man beim A/B-Testing, ob das Konzept zu kurzfristigen Änderungen im Kundenverhalten führt. Der Test läuft drei Wochen und man sieht, dass sich dadurch die Conversion Rate um x% erhöht. Soweit so gut. Jedoch sagt diese Änderung nichts über den Effekt auf das langfristige Kundenverhalten und KPIs wie ",{"text":2362,"type":513,"marks":2363},"Kundenzufriedenheit und Kundenbindung",[2364],{"type":955,"attrs":2365},{"href":2366,"uuid":2367,"anchor":118,"target":1083,"linktype":31,"story":2368},"/de/customer-experience/conversion-rate-versus-user-experience","21499b0c-db6b-43d7-9b25-758c97ee3de5",{"name":2369,"id":2370,"uuid":2367,"slug":2371,"url":2372,"full_slug":2372,"_stopResolving":81},"Der geheime Quadrant hoher Conversion Rates (und weniger guter UX)",101807769923466,"conversion-rate-versus-user-experience","de/customer-experience/conversion-rate-versus-user-experience",{"text":2374,"type":513}," aus. Dafür müsste der Test weitaus länger laufen, um zum Beispiel Gewöhnungseffekte oder Änderungen im Kundenstamm und den Nutzerbedürfnissen zu erfassen. In einem solchen Test konnte ich beobachten, dass der Effekt kurzfristig sehr hoch war, sich aber nach mehreren Monaten auf ein deutlich niedrigeres, aber dennoch signifikantes Niveau eingependelt hat. Nutzer gewöhnen sich an Neuheiten: Was heute noch begeistert hat, ist morgen schon Gewohnheit und wird nicht mehr so stark wahrgenommen. Folglich ist es schlichtweg falsch, wenn man den gemessenen kurzfristigen Effekt als konstant annimmt und in die Zukunft fortschreibt.",{"type":942,"attrs":2376,"content":2377},{"level":1246,"textAlign":118},[2378],{"text":2379,"type":513},"Grund 2: Kausalität vs. Korrelation",{"type":42,"attrs":2381,"content":2382},{"textAlign":118},[2383],{"text":2384,"type":513},"Angenommen, der Test hat einen signifikanten Uplift und das Testkonzept wird fest implementiert. Was dann oft passiert sind sogenannte Vorher-Nachher-Vergleiche mit dem Ziel, den gemessenen Effekt auch in der Conversion Rate nachzuweisen. Hier wird die Conversion Rate im Zeitraum vor der Implementierung mit einem Zeitraum nach der Implementierung verglichen. Man erwartet, dass die Differenz der beiden Raten ja genau dem gemessenen Effekt aus dem Test entsprechen muss.",{"type":42,"attrs":2386,"content":2387},{"textAlign":118},[2388],{"text":2389,"type":513},"Klar, livegestellte Änderungen können durchaus zu Steigerungen in der Conversion Rate führen. Jedoch gibt es parallel noch hunderte andere Einflussfaktoren, die ebenfalls die Conversion Rate bestimmen, z.B. Saison, Sale Aktionen, Lieferschwierigkeiten, neue Produkte, andere Kunden oder Bugs.",{"type":42,"attrs":2391,"content":2392},{"textAlign":118},[2393],{"text":2394,"type":513},"Es ist wichtig, zwischen Korrelation und Kausalität zu unterscheiden. Korrelation gibt lediglich an, inwiefern zwei Kennzahlen einem gemeinsamen Trend folgen. Jedoch sagt Korrelation nichts darüber aus, ob die eine Kennzahl kausal, also ursächlich für die Änderung der anderen Variable ist.",{"type":42,"attrs":2396,"content":2397},{"textAlign":118},[2398],{"text":2399,"type":513},"Dieser Trugschluss wird in Abbildung 18 deutlich: Die US-Ausgaben für Science, Space and Technology steigen und gleichzeitig bringen sich deshalb mehr Leute um. Macht irgendwie keinen Sinn oder?",{"_uid":2401,"image":2402,"caption":2406,"component":936},"e577878e-c80f-43d7-a669-38f0b0a25d30",{"alt":2403,"src":2404,"name":30,"focus":30,"title":118,"source":30,"filename":2404,"copyright":30,"fieldtype":49,"meta_data":2405,"is_external_url":81},"Abbildung 18: Hier findest Du weitere skurrile Beispiele die den Unterschied zwischen Korrelation und Kausalität deutlich machen (Quelle): http://tylervigen.com/spurious-correlations","https://storage.googleapis.com/kk-website-assets/VtI-vRR4_Statistik-Falle-19-610x300.png",{"alt":2403,"title":118,"source":30,"copyright":30},{"type":39,"content":2407},[2408],{"type":42,"content":2409},[2410],{"text":2411,"type":513},"Abbildung 18: Hier findest Du weitere skurrile Beispiele die den Unterschied zwischen Korrelation und Kausalität deutlich machen (",{"_uid":2413,"text":2414,"component":924},"a5daa8a6-d0d8-47fe-a2bc-98b00dd72c96",{"type":39,"content":2415},[2416,2421,2426,2431,2436,2454,2466,2471,2476,2481,2486,2491,2508,2513,2524,2529,2549,2554,2568,2573,2584,2589,2597,2602,2613,2618,2635,2640,2651,2656],{"type":42,"attrs":2417,"content":2418},{"textAlign":118},[2419],{"text":2420,"type":513},"Beobachtet man also nach einem Livegang Änderungen in der Conversion Rate, so lässt sich dieser Effekt nicht isolieren. Man weiß nicht genau, wie stark welche Faktoren ursächlich für die Conversion Rate sind. Angenommen, das livegestellte Testkonzept hat einen positiven Effekt, dann kann es darüber hinaus aber andere negative Einflussfaktoren geben, so dass der Effekt insgesamt nicht mehr nachweisbar ist.",{"type":42,"attrs":2422,"content":2423},{"textAlign":118},[2424],{"text":2425,"type":513},"Die einzig saubere Möglichkeit, kausale Zusammenhänge und den Effekt eines Testkonzepts langfristig zu messen, ist folgende: Nach dem erfolgreichen Test rollst Du das Konzept für 95% der Kunden aus (zum Beispiel über Dein Testing Tool). Die restlichen 5% belässt Du als Kontrollgruppe. Durch einen ständigen Vergleich dieser beiden Gruppen kannst Du den langfristigen Effekt Deines Konzepts messen. ",{"type":942,"attrs":2427,"content":2428},{"level":1246,"textAlign":118},[2429],{"text":2430,"type":513},"Grund 3: Missinterpretation von Konfidenz",{"type":42,"attrs":2432,"content":2433},{"textAlign":118},[2434],{"text":2435,"type":513},"Ein weiteres Problem ist, dass es leider immer noch zu Missverständnissen bei der Interpretation von Konfidenzen kommt. Angenommen, der Test zeigt einen Uplift von 4,5 % bei einem Konfidenzniveau von 98%. Das heißt nicht, dass der Effekt mit einer Wahrscheinlichkeit von 98% genau 4,5% beträgt! Jede Konfidenzanalyse liefert als Output ein Intervall, in dem der zu erwartende Uplift mit einer bestimmten Wahrscheinlichkeit (Konfidenz) liegt.",{"type":42,"attrs":2437,"content":2438},{"textAlign":118},[2439,2441,2453],{"text":2440,"type":513},"Im Beispiel könnte das bedeuten, dass der Effekt auf Basis der gemessenen Werte mit einer Wahrscheinlichkeit von 98% zwischen 2% und 7% liegt. Es ist daher ein Trugschluss, wenn man davon ausgeht, dass der tatsächliche Effekt genau dem aus dem Test entspricht. Dieses Intervall wird zwar umso kleiner, je länger der Test läuft, es wird jedoch nie auf eine genaue Punktschätzung hinauslaufen. Das Konfidenzniveau sagt viel mehr etwas darüber aus, ",{"text":2442,"type":513,"marks":2443},"wie stabil das Ergebnis ist",[2444],{"type":955,"attrs":2445},{"href":2446,"uuid":2447,"anchor":118,"target":1083,"linktype":31,"story":2448},"/de/data-science/testing-statistik-konfidenz-grundlagen","789f15c0-8c3e-4816-b6cc-8f9e73b41ad3",{"name":2449,"id":2450,"uuid":2447,"slug":2451,"url":2452,"full_slug":2452,"_stopResolving":81},"Konfidenz sollte man kennen. (Grundlagen zur Statistik beim A/B Testing)",101807478296369,"testing-statistik-konfidenz-grundlagen","de/data-science/testing-statistik-konfidenz-grundlagen",{"text":1458,"type":513},{"type":42,"attrs":2455,"content":2456},{"textAlign":118},[2457,2459,2465],{"text":2458,"type":513},"Übrigens: Es gibt einen kleinen aber feinen Unterschied zwischen der Konfidenz und der Chance-to-Beat-Original, welche die meisten Testing Tools reporten: Die Konfidenz gibt lediglich an, mit welcher Wahrscheinlichkeit eine Variable innerhalb eines bestimmten Intervalls (dem Konfidenzintervall) liegt und sagt erstmal nichts darüber, ob ein Konzept erfolgreich ist oder nicht. Die CTBO hingegen misst, ob und wie stark sich Konfidenzintervalle überlappen und wie wahrscheinlich es ist, dass die Testvariante irgendwie besser ist, als die Control. Diesen Unterschied solltest Du kennen. Mehr darüber erfährst Du ",{"text":2460,"type":513,"marks":2461},"hier",[2462],{"type":955,"attrs":2463},{"href":2464,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/tipps/testing-statistik-konfidenz-grundlagen.html",{"text":1458,"type":513},{"type":942,"attrs":2467,"content":2468},{"level":944,"textAlign":118},[2469],{"text":2470,"type":513},"Fazit",{"type":42,"attrs":2472,"content":2473},{"textAlign":118},[2474],{"text":2475,"type":513},"Wenn man sich bei der Auswertung eines Tests rein auf die Zahlen aus dem Testing Tool verlässt, kann das zu Fehlern führen. Diese wiederum gefährden die Validität deiner Ergebnisse. Um das zu vermeiden, gibt es für jede Phase des Tests ein paar Grundregeln, die man einhalten sollte.",{"type":42,"attrs":2477,"content":2478},{"textAlign":118},[2479],{"text":2480,"type":513},"Beim Thema A/B-Testing gibt es dabei aber auch einen regelmäßigen Konflikt zwischen dem wissenschaftlichen Anspruch an die Sauberkeit eines Tests und den Business Bedürfnissen. Du solltest versuchen, einen guten Mittelweg zu finden, so dass Deine Tests immer noch praktisch relevante Ergebnisse liefern und das Vertrauen in die Testergebnisse trotzdem bestehen bleibt.",{"type":942,"attrs":2482,"content":2483},{"level":944,"textAlign":118},[2484],{"text":2485,"type":513},"37 Statistik-Tipps für Optimierer",{"type":942,"attrs":2487,"content":2488},{"level":1246,"textAlign":118},[2489],{"text":2490,"type":513},"#1 Anzahl der Testvarianten",{"type":42,"attrs":2492,"content":2493},{"textAlign":118},[2494,2496,2497,2499,2500,2502,2503,2505,2506],{"text":2495,"type":513},"1. Eine 100%ige Sicherheit gibt es nicht. Mit dem Konfidenzniveau bestimmst Du, welche Fehlerwahrscheinlichkeit Du akzeptieren willst.",{"type":961},{"text":2498,"type":513},"2. Bei mehr als 1 Testvariante kommt es zur Alpha-Fehler-Kumulierung.",{"type":961},{"text":2501,"type":513},"3. Es gibt Testing Tools, die dafür korrigieren.",{"type":961},{"text":2504,"type":513},"4. Mit einer Varianzanalyse kannst Du den Fehler selbst korrigieren.",{"type":961},{"text":2507,"type":513},"5. Einfacher geht es mit einer Reduzierung der Testvarianten (max. 3 + Control).",{"type":942,"attrs":2509,"content":2510},{"level":1246,"textAlign":118},[2511],{"text":2512,"type":513},"#2 Paralleles Testen",{"type":42,"attrs":2514,"content":2515},{"textAlign":118},[2516,2518,2519,2521,2522],{"text":2517,"type":513},"6. Sind keine hohen Interdependenzen zwischen Tests zu erwarten, können Tests durchaus gleichzeitig laufen.",{"type":961},{"text":2520,"type":513},"7. Bei einem hohen Risiko von asymmetrischen Effekten hingegen können Ergebnisse verzerrt werden. In diesem Fall empfehlen wir einen Split oder zeitlich versetzte Tests.",{"type":961},{"text":2523,"type":513},"8. Haben Tests die gleichen Goals und sind sinnvoll miteinander kombinierbar, kann multivariates Testen eine gute Lösung sein.",{"type":942,"attrs":2525,"content":2526},{"level":1246,"textAlign":118},[2527],{"text":2528,"type":513},"#3 Die richtigen KPIs",{"type":42,"attrs":2530,"content":2531},{"textAlign":118},[2532,2534,2535,2537,2538,2540,2541,2543,2544,2546,2547],{"text":2533,"type":513},"9. Mache dir VOR jedem Test Gedanken über die richtige KPI.",{"type":961},{"text":2536,"type":513},"10. Der Erfolg sollte immer anhand von Macro-KPIs beurteilt werden (Conversion oder (Netto-)Umsatz).",{"type":961},{"text":2539,"type":513},"11. Bei mehreren KPIs ist eine Priorisierung notwendig.",{"type":961},{"text":2542,"type":513},"12. Wähle nicht zu viele KPIs.",{"type":961},{"text":2545,"type":513},"13. Nutze Micro-Conversions als Diagnoseinstrumente.",{"type":961},{"text":2548,"type":513},"14. Je höher die Varianz von KPIs, desto länger muss der Test laufen.",{"type":942,"attrs":2550,"content":2551},{"level":1246,"textAlign":118},[2552],{"text":2553,"type":513},"#4 Multivariates vs. A/B-Testing",{"type":42,"attrs":2555,"content":2556},{"textAlign":118},[2557,2559,2560,2562,2563,2565,2566],{"text":2558,"type":513},"15. Multivariate Tests sind super, wenn sie richtig gemacht werden.",{"type":961},{"text":2561,"type":513},"16. Begrenze die Anzahl an Varianten und wähle die Kombinationen in Abstimmung auf dein Testkonzept.",{"type":961},{"text":2564,"type":513},"17. Durch eine Varianzanalyse kannst du den Effekt einzelner Faktoren auswerten.",{"type":961},{"text":2567,"type":513},"18. Validiere die Ergebnisse mit einem Folgetest, um die Fehlerwahrscheinlichkeit zu reduzieren.",{"type":942,"attrs":2569,"content":2570},{"level":1246,"textAlign":118},[2571],{"text":2572,"type":513},"#5 Testlaufzeit",{"type":42,"attrs":2574,"content":2575},{"textAlign":118},[2576,2578,2579,2581,2582],{"text":2577,"type":513},"19. Jeder Test benötigt eine minimale Testgröße, um valide Ergebnisse zu erzielen.",{"type":961},{"text":2580,"type":513},"20. Berechne die Testlaufzeit vorab, z.B. mit unserem Kalkulator.",{"type":961},{"text":2583,"type":513},"21. Gib dem Test genügend Zeit und schalte ihn nicht vorher einfach ab.",{"type":942,"attrs":2585,"content":2586},{"level":1246,"textAlign":118},[2587],{"text":2588,"type":513},"#6 Änderungen während des Tests",{"type":42,"attrs":2590,"content":2591},{"textAlign":118},[2592,2594,2595],{"text":2593,"type":513},"22. Änderst Du Varianten oder schaltest diese ab, so macht es Sinn, den Test neu zu starten, bevor die Ergebnisse verzerrt werden.",{"type":961},{"text":2596,"type":513},"23. Schraube nicht zu viel am Traffic und wenn doch, erweitere den Testzeitraum, um eine ausreichende Testgröße zu bekommen.",{"type":942,"attrs":2598,"content":2599},{"level":1246,"textAlign":118},[2600],{"text":2601,"type":513},"#7 Bayesianische Verfahren",{"type":42,"attrs":2603,"content":2604},{"textAlign":118},[2605,2607,2608,2610,2611],{"text":2606,"type":513},"24. Treffe vor Teststart realistische „a priori“ Annahmen zum Erfolg des Testkonzepts.",{"type":961},{"text":2609,"type":513},"25. Liegst Du mit den Annahmen daneben, riskierst Du lange Testlaufzeiten und invalide Ergebnisse.",{"type":961},{"text":2612,"type":513},"26. Vertraue einer geringen Testgröße nie, denn sie sind auch bei bayesianischen Verfahren häufig nicht valide.",{"type":942,"attrs":2614,"content":2615},{"level":1246,"textAlign":118},[2616],{"text":2617,"type":513},"#8 Testauswertung",{"type":42,"attrs":2619,"content":2620},{"textAlign":118},[2621,2623,2624,2626,2627,2629,2630,2632,2633],{"text":2622,"type":513},"27. Kombiniere Testergebnisse mit anderen Datenbanken.",{"type":961},{"text":2625,"type":513},"28. Analytics-Tools können im Nachhinein Auskunft über Metriken geben, die im Testing Tool vergessen wurden.",{"type":961},{"text":2628,"type":513},"29. Im DWH kannst Du Retouren analysieren und und sehen, ob der Uplift auch zu mehr Gewinn führt.",{"type":961},{"text":2631,"type":513},"30. Mit Hilfe von Rohdaten kannst du Ausreißer identifizieren und z.B. abnormal hohe Bestellungen ausschließen.",{"type":961},{"text":2634,"type":513},"31. Daten entsprechen häufig nicht der Normalverteilung, sondern sind „rechtsschief“ und verfälschen Konfidenzintervalle. Daten abseits der Normalverteilung kannst Du mit verschiedenen Methoden auswerten.",{"type":942,"attrs":2636,"content":2637},{"level":1246,"textAlign":118},[2638],{"text":2639,"type":513},"#9 Segmentierung",{"type":42,"attrs":2641,"content":2642},{"textAlign":118},[2643,2645,2646,2648,2649],{"text":2644,"type":513},"32. Die Verbindung mit anderen Datenquellen ermöglicht eine Analyse der Testergebnisse nach Kundeneigenschaften.",{"type":961},{"text":2647,"type":513},"33. Achte beim Vergleich der Segmente auf eine ausreichende Stichprobengröße, um Fehler zu vermeiden.",{"type":961},{"text":2650,"type":513},"34. Wähle die Kundeneigenschaften mit Bedacht und stimme sie auf Deine Hypothese ab.",{"type":942,"attrs":2652,"content":2653},{"level":1246,"textAlign":118},[2654],{"text":2655,"type":513},"#10 Implementierung",{"type":42,"attrs":2657,"content":2658},{"textAlign":118},[2659,2661,2662,2664,2665],{"text":2660,"type":513},"35. Projiziere das Testergebnis nicht einfach linear auf die Zukunft, denn A/B-Tests messen in der Regel kurzfristige Verhaltensänderungen. Gewöhnungseffekte, Änderungen in Kundenstamm und Nutzerbedürfnissen werden nicht berücksichtigt.",{"type":961},{"text":2663,"type":513},"36. Den isolierten Effekt auf die Conversion Rate langfristig kannst du mit einer dauerhaften 95%/5% – Ausspielung messen.",{"type":961},{"text":2666,"type":513},"37. Interpretiere die Konfidenz nicht falsch und verwechsle sie nicht mit der CTBO.",{"alt":903,"src":2668,"name":30,"focus":30,"title":118,"source":30,"filename":2668,"copyright":30,"fieldtype":49,"meta_data":2669},"//a.storyblok.com/f/328018/130d00ceb3/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer-html-5423bfbc-10-statistik-fallen-beim-testing-ultimativer-guide.png",{"alt":903,"title":118,"source":30,"copyright":30},[2671],{"name":2672,"created_at":2673,"published_at":2674,"updated_at":2675,"id":2676,"uuid":2677,"content":2678,"slug":2693,"full_slug":2694,"sort_by_date":118,"position":2695,"tag_list":2696,"is_startpage":51,"parent_id":2697,"meta_data":118,"group_id":2698,"first_published_at":2699,"release_id":118,"lang":124,"path":118,"alternates":2700,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Julia Engelmann","2025-10-15T15:37:23.242Z","2025-11-27T08:54:47.020Z","2025-11-25T13:50:56.475Z",101798065154694,"b1e9fb36-53ba-46c6-9df5-477eaee9d271",{"_uid":2679,"name":2672,"role":30,"about":2680,"email":2686,"avatar":2687,"component":2691,"social_link_x":30,"social_link_dribbble":30,"social_link_facebook":30,"social_link_linked_in":2692},"44f6be7b-3bf9-40b1-834b-d3d3663fb96c",{"type":39,"content":2681},[2682],{"type":42,"content":2683},[2684],{"text":2685,"type":513},"Julia hat sich als promovierte Volkswirtin einige Jahre intensiv mit ökonometrischen Modellen und statistischen Methoden beschäftigt und an der Helmut-Schmidt-Universität in Hamburg dazu gelehrt und geforscht. Im Data Science Team und Onsite Testing Team bei der Zalando SE in Berlin hat sie das Wissen und die Erfahrung in der Praxis angewendet und dort zahlreiche A/B Tests und Datenanalysen zum Nutzerverhalten durchgeführt. Als Principal Data Science bei konversionsKRAFT kümmert sie sich um die Bereiche Data Analytics und Data Science, Personalisierung und Web Analytics. Ihr Fokus liegt darauf, relevante Erkenntnisse über das Nutzerverhalten aus den Daten und Modellen zu generieren und für wirksame Optimierung und Personalisierung der digitalen Customer Journey zu nutzen.","julia.engelmann@konversionskraft.de",{"alt":2688,"src":2689,"name":30,"focus":30,"title":2688,"source":30,"filename":2689,"copyright":30,"fieldtype":49,"meta_data":2690,"is_external_url":81},"jfreese","https://storage.googleapis.com/kk-website-assets/zogFfWrm_julia-engelmann.png",{"alt":2688,"title":2688,"source":30,"copyright":30},"page-author","https://www.linkedin.com/in/dr-julia-engelmann-b069a277/","julia-engelmann","de/autoren/julia-engelmann",-330,[],677009943,"b10b6736-a9fd-4135-b1b5-188ce46123cf","2025-11-17T10:34:46.245Z",[],"1636063d-dc1d-4c5f-88ac-f883cb3898e4","page-blog-post",[2704,2720,2733],{"name":2705,"created_at":2706,"published_at":2707,"updated_at":2706,"id":2708,"uuid":2701,"content":2709,"slug":2712,"full_slug":2713,"sort_by_date":118,"position":2714,"tag_list":2715,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2717,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":2719,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Data Analytics","2025-10-13T20:21:57.932Z","2025-11-27T08:54:46.522Z",101160214285780,{"_uid":2710,"component":2711},"c19807d9-938a-4832-8817-95fdbbea26dc","document-blog-category","data-analytics","de/_categories/data-analytics",-160,[],101158655217801,"be2d51cd-41e0-4d6a-a93e-7fa3982ca36c","2025-11-17T10:34:46.494Z",[],{"name":2721,"created_at":2722,"published_at":2707,"updated_at":2722,"id":2723,"uuid":2724,"content":2725,"slug":2727,"full_slug":2728,"sort_by_date":118,"position":2729,"tag_list":2730,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2731,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":2732,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Data Sciences","2025-10-13T20:21:58.568Z",101160216886741,"f449697d-cbdd-4d7b-ab3d-634c234ec9f8",{"_uid":2726,"component":2711},"b8acba9f-933f-484d-91d4-b188b9fe42ce","data-sciences","de/_categories/data-sciences",-170,[],"b502c3bd-1699-45dc-a7e2-262bf092a90f",[],{"name":2734,"created_at":2735,"published_at":2707,"updated_at":2735,"id":2736,"uuid":2737,"content":2738,"slug":2740,"full_slug":2741,"sort_by_date":118,"position":2742,"tag_list":2743,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2744,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":2745,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Data Science","2025-11-12T16:13:50.397Z",111716066946451,"6abe50ea-afe8-4615-ade1-71e924bd54a7",{"_uid":2739,"component":2711},"07fd1964-f6bf-4e90-9575-819994d2bfb8","data-science","de/_categories/data-science",-410,[],"24621a2c-fe9b-4061-8e92-aeb0d17534f7",[],[],[2748,2754,2761],{"_uid":2749,"link":2750,"text":2753,"component":59},"7621813e-309a-479d-a0a7-10df695541c6",{"id":2751,"url":2752,"linktype":31,"fieldtype":32,"cached_url":2752},632563185,"de","Home",{"_uid":2755,"link":2756,"text":442,"component":59},"498fe75b-d4e3-42b0-86b1-2019c6309f43",{"id":2757,"url":2758,"linktype":31,"fieldtype":32,"cached_url":2758,"story":2759},"7cc26d60-883e-42a6-8af9-9c1241ebd4eb","de/blog",{"name":442,"id":2760,"uuid":2757,"slug":440,"url":2758,"full_slug":2758,"_stopResolving":81},99774720228859,{"_uid":2762,"link":2763,"text":903,"component":59},"f51c034d-c3ec-433e-8193-5abd3087a753",{"id":908,"url":2764,"linktype":31,"fieldtype":32,"cached_url":2764,"story":2765},"de/blog/data-science/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer",{"name":903,"id":907,"uuid":908,"slug":2766,"url":2767,"full_slug":2767,"_stopResolving":81},"10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer","de/data-science/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer",[2769],{"_uid":2770,"caption":30,"headline":2771,"component":2772,"subheadline":2773,"action_buttons":2787},"849b4e42-7526-4cb3-aa50-285f0f1179c2","Endlich kein Kopfzerbrechen mehr bei Testauswertungen","item-cta",{"type":39,"content":2774},[2775,2782],{"type":42,"attrs":2776,"content":2777},{"textAlign":118},[2778],{"text":2779,"type":513,"marks":2780},"E-Book und Präsentations-Folien im Doppelpack",[2781],{"type":959},{"type":42,"attrs":2783,"content":2784},{"textAlign":118},[2785],{"text":2786,"type":513},"Du willst sicher sein, was dein Test wirklich aussagt und deinem Team helfen, dieselbe Klarheit zu gewinnen? Dieses Bundle gibt dir alles, was du brauchst, um souverän mit Statistik im Testing-Alltag umzugehen.",[2788],{"_uid":2789,"icon":27,"link":2790,"text":2795,"intent":35,"component":36,"icon_position":37},"b3ec4696-9cc6-47f7-a300-880c449ebd08",{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405,"story":2791},{"name":2792,"id":2793,"uuid":404,"slug":2794,"url":405,"full_slug":405,"_stopResolving":81},"Statistik E-Book und Basic Wissen für A/B-Testing",79432354030905,"statistik-e-book-und-basic-wissen-fuer-a-b-testing","Statistik-Bundle erhalten","33",[],[],-20,[],101807473516336,"15402d1c-2c60-4f18-8154-9de270d62380","2016-05-31T09:30:59.000Z",[],[2806,2810,2814,2825],{"name":2705,"created_at":2706,"published_at":2707,"updated_at":2706,"id":2708,"uuid":2701,"content":2807,"slug":2712,"full_slug":2713,"sort_by_date":118,"position":2714,"tag_list":2808,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2717,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":2809,"default_full_slug":118,"translated_slugs":118},{"_uid":2710,"component":2711},[],[],{"name":2734,"created_at":2735,"published_at":2707,"updated_at":2735,"id":2736,"uuid":2737,"content":2811,"slug":2740,"full_slug":2741,"sort_by_date":118,"position":2742,"tag_list":2812,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2744,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":2813,"default_full_slug":118,"translated_slugs":118},{"_uid":2739,"component":2711},[],[],{"name":2672,"created_at":2673,"published_at":2674,"updated_at":2675,"id":2676,"uuid":2677,"content":2815,"slug":2693,"full_slug":2694,"sort_by_date":118,"position":2695,"tag_list":2823,"is_startpage":51,"parent_id":2697,"meta_data":118,"group_id":2698,"first_published_at":2699,"release_id":118,"lang":124,"path":118,"alternates":2824,"default_full_slug":118,"translated_slugs":118},{"_uid":2679,"name":2672,"role":30,"about":2816,"email":2686,"avatar":2821,"component":2691,"social_link_x":30,"social_link_dribbble":30,"social_link_facebook":30,"social_link_linked_in":2692},{"type":39,"content":2817},[2818],{"type":42,"content":2819},[2820],{"text":2685,"type":513},{"alt":2688,"src":2689,"name":30,"focus":30,"title":2688,"source":30,"filename":2689,"copyright":30,"fieldtype":49,"meta_data":2822,"is_external_url":81},{"alt":2688,"title":2688,"source":30,"copyright":30},[],[],{"name":2721,"created_at":2722,"published_at":2707,"updated_at":2722,"id":2723,"uuid":2724,"content":2826,"slug":2727,"full_slug":2728,"sort_by_date":118,"position":2729,"tag_list":2827,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2731,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":2828,"default_full_slug":118,"translated_slugs":118},{"_uid":2726,"component":2711},[],[],[2830,2831,2832,2833,2834,2835,2836,2837,2838,2839,2840,2841,2842],{"name":1085,"id":1086,"uuid":1082,"slug":1087,"url":1088,"full_slug":1088},{"name":2792,"id":2793,"uuid":404,"slug":2794,"url":405,"full_slug":405},{"name":2369,"id":2370,"uuid":2367,"slug":2371,"url":2372,"full_slug":2372},{"name":1414,"id":1415,"uuid":1412,"slug":1416,"url":1417,"full_slug":1417},{"name":903,"id":907,"uuid":908,"slug":2766,"url":2767,"full_slug":2767},{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570},{"name":2219,"id":2220,"uuid":2217,"slug":2221,"url":2222,"full_slug":2222},{"name":2449,"id":2450,"uuid":2447,"slug":2451,"url":2452,"full_slug":2452},{"name":442,"id":2760,"uuid":2757,"slug":440,"url":2758,"full_slug":2758},{"name":1814,"id":1815,"uuid":1812,"slug":1816,"url":1817,"full_slug":1817},{"name":1887,"id":1888,"uuid":1885,"slug":1889,"url":1890,"full_slug":1890},{"name":2315,"id":2316,"uuid":359,"slug":2317,"url":360,"full_slug":360},{"name":1453,"id":1454,"uuid":1451,"slug":1455,"url":1456,"full_slug":1456},"\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 24 24\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath d=\"M9.70697 16.9496L15.414 11.2426L9.70697 5.53564L8.29297 6.94964L12.586 11.2426L8.29297 15.5356L9.70697 16.9496Z\" fill=\"currentColor\"/>\n\u003C/svg>\n","\u003Csvg xmlns=\"http://www.w3.org/2000/svg\" width=\"1em\" height=\"1em\" fill=\"currentColor\" viewBox=\"0 0 256 256\">\u003Cpath d=\"M224,48H32a8,8,0,0,0-8,8V192a16,16,0,0,0,16,16H216a16,16,0,0,0,16-16V56A8,8,0,0,0,224,48Zm-96,85.15L52.57,64H203.43ZM98.71,128,40,181.81V74.19Zm11.84,10.85,12,11.05a8,8,0,0,0,10.82,0l12-11.05,58,53.15H52.57ZM157.29,128,216,74.18V181.82Z\">\u003C/path>\u003C/svg>","\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 24 24\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M4.5 3.24268C3.67157 3.24268 3 3.91425 3 4.74268V19.7427C3 20.5711 3.67157 21.2427 4.5 21.2427H19.5C20.3284 21.2427 21 20.5711 21 19.7427V4.74268C21 3.91425 20.3284 3.24268 19.5 3.24268H4.5ZM8.52076 7.2454C8.52639 8.20165 7.81061 8.79087 6.96123 8.78665C6.16107 8.78243 5.46357 8.1454 5.46779 7.24681C5.47201 6.40165 6.13998 5.72243 7.00764 5.74212C7.88795 5.76181 8.52639 6.40728 8.52076 7.2454ZM12.2797 10.0044H9.75971H9.7583V18.5643H12.4217V18.3646C12.4217 17.9847 12.4214 17.6047 12.4211 17.2246C12.4203 16.2108 12.4194 15.1959 12.4246 14.1824C12.426 13.9363 12.4372 13.6804 12.5005 13.4455C12.7381 12.568 13.5271 12.0013 14.4074 12.1406C14.9727 12.2291 15.3467 12.5568 15.5042 13.0898C15.6013 13.423 15.6449 13.7816 15.6491 14.129C15.6605 15.1766 15.6589 16.2242 15.6573 17.2719C15.6567 17.6417 15.6561 18.0117 15.6561 18.3815V18.5629H18.328V18.3576C18.328 17.9056 18.3278 17.4537 18.3275 17.0018C18.327 15.8723 18.3264 14.7428 18.3294 13.6129C18.3308 13.1024 18.276 12.599 18.1508 12.1054C17.9638 11.3713 17.5771 10.7638 16.9485 10.3251C16.5027 10.0129 16.0133 9.81178 15.4663 9.78928C15.404 9.78669 15.3412 9.7833 15.2781 9.77989C14.9984 9.76477 14.7141 9.74941 14.4467 9.80334C13.6817 9.95662 13.0096 10.3068 12.5019 10.9241C12.4429 10.9949 12.3852 11.0668 12.2991 11.1741L12.2797 11.1984V10.0044ZM5.68164 18.5671H8.33242V10.01H5.68164V18.5671Z\" fill=\"currentColor\"/>\n\u003C/svg>\n","\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 16 16\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath d=\"M13.5893 0.458984L7.93196 6.11498L2.27596 0.458984L0.390625 2.34432L6.04662 8.00032L0.390625 13.6563L2.27596 15.5417L7.93196 9.88565L13.5893 15.5417L15.4746 13.6563L9.81863 8.00032L15.4746 2.34432L13.5893 0.458984Z\" fill=\"currentColor\"/>\n\u003C/svg>\n",{"stories":2848,"total":4796},[2849,3356,4196],{"name":2850,"created_at":2851,"published_at":905,"updated_at":2852,"id":2853,"uuid":2854,"content":2855,"slug":3344,"full_slug":3345,"sort_by_date":118,"position":3349,"tag_list":3350,"is_startpage":51,"parent_id":2801,"meta_data":118,"group_id":3353,"first_published_at":3354,"release_id":118,"lang":124,"path":118,"alternates":3355,"default_full_slug":118,"translated_slugs":118},"Warum erfolgreiche A/B-Tests eine saubere statistische Testplanung brauchen (plus neues Testplaner-Tool)","2025-10-15T16:26:37.517Z","2026-10-04T09:56:23.390Z",101810165859050,"64a00144-ea1c-46b0-a1cc-5a85414d4a00",{"seo":2856,"_uid":2858,"body":2859,"text":2857,"image":3297,"authors":3300,"category":3302,"headline":2850,"component":2702,"categories":3303,"bottom_head":3330,"breadcrumbs":3331,"seo_noindex":51,"sidebar_cta":3346,"reading_time":3347,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":3348,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":2850,"plugin":912,"og_image":30,"og_title":2850,"description":2857,"twitter_image":30,"twitter_title":2850,"og_description":2857,"twitter_description":2857},"Eine methodisch und statistisch saubere Testplanung ist die Grundlage für ein erfolgreiches Testing-Programm. Nutze dafür den neuen Testplaner.","2b391d85-fd51-4d68-95b8-17d9188a16f7",[2860],{"_uid":2861,"text":2862,"component":924},"aead8f6f-2188-42a1-9fbd-b597082d780c",{"type":39,"content":2863},[2864,2874,2882,2887,2962,2967,2971,2975,2980,2984,2994,2999,3011,3020,3029,3033,3038,3042,3059,3069,3074,3093,3097,3113,3118,3128,3132,3136,3157,3161,3177,3182,3186,3190,3196,3204,3217,3221,3225,3229,3233,3237,3241,3246,3265,3269,3273,3277,3281,3289],{"type":42,"content":2865},[2866,2868,2872],{"text":2867,"type":513},"Um die Grundlage für ein erfolgreiches Testing-Programm zu legen, ist ein methodisch – und das heißt vor allem statistisch – sauberes Vorgehen bei der Testplanung unerlässlich. Mit der Berechnung von p-Werten, CTBC-Scores und Konfidenzintervallen können wir ",{"text":2869,"type":513,"marks":2870},"unser Risiko für Fehlentscheidungen kontrollieren",[2871],{"type":959},{"text":2873,"type":513}," und valide Ableitungen über unsere getesteten Varianten treffen. Und dabei natürlich hoffentlich viele „Gewinner“ ermitteln. 😉",{"type":42,"content":2875},[2876,2880],{"text":2877,"type":513,"marks":2878},"Statistik ist allerdings schon lange vor der Testauswertung relevant.",[2879],{"type":959},{"text":2881,"type":513}," Bereits bei der Planung eines A/B-Tests wird mit der Beschreibung eines Testdesigns das Fundament für den späteren Erfolg gelegt. Und genau darauf geht dieser Artikel ein; und genau dafür haben wir ein neues Tool, den „Testplaner“, entwickelt!",{"type":942,"attrs":2883,"content":2884},{"level":944},[2885],{"text":2886,"type":513},"Woraus besteht ein statistisches Testdesign?",{"type":2888,"attrs":2889,"content":2891},"ordered_list",{"order":2890,"tight":51},1,[2892,2902,2912,2922,2932,2942,2952],{"type":1831,"content":2893},[2894],{"type":42,"content":2895},[2896],{"text":2897,"type":513,"marks":2898},"Die Population / Stichproben-Einheit",[2899],{"type":955,"attrs":2900},{"href":2901,"uuid":118,"anchor":118,"target":118,"linktype":136},"#die-population-stichproben-einheit",{"type":1831,"content":2903},[2904],{"type":42,"content":2905},[2906],{"text":2907,"type":513,"marks":2908},"Die Stichprobezuordnung",[2909],{"type":955,"attrs":2910},{"href":2911,"uuid":118,"anchor":118,"target":118,"linktype":136},"#die-stichprobezuordnung",{"type":1831,"content":2913},[2914],{"type":42,"content":2915},[2916],{"text":2917,"type":513,"marks":2918},"Hypothese (Nullhypothese und Alternativhypothese)",[2919],{"type":955,"attrs":2920},{"href":2921,"uuid":118,"anchor":118,"target":118,"linktype":136},"#hypothese-nullhypothese-und-alternativhypothese",{"type":1831,"content":2923},[2924],{"type":42,"content":2925},[2926],{"text":2927,"type":513,"marks":2928},"Die Zielmetrik(en)",[2929],{"type":955,"attrs":2930},{"href":2931,"uuid":118,"anchor":118,"target":118,"linktype":136},"#die-zielmetrik-en",{"type":1831,"content":2933},[2934],{"type":42,"content":2935},[2936],{"text":2937,"type":513,"marks":2938},"Risiko für False Positives: (Alpha-Fehler & Konfidenzniveau)",[2939],{"type":955,"attrs":2940},{"href":2941,"uuid":118,"anchor":118,"target":118,"linktype":136},"#risiko-fur-false-positives-alpha-fehler-konfidenzniveau",{"type":1831,"content":2943},[2944],{"type":42,"content":2945},[2946],{"text":2947,"type":513,"marks":2948},"Risiko für False Negatives (Beta-Fehler & Testpower)",[2949],{"type":955,"attrs":2950},{"href":2951,"uuid":118,"anchor":118,"target":118,"linktype":136},"#risiko-fur-false-negatives-beta-fehler-testpower",{"type":1831,"content":2953},[2954],{"type":42,"content":2955},[2956],{"text":2957,"type":513,"marks":2958},"Testlaufzeit",[2959],{"type":955,"attrs":2960},{"href":2961,"uuid":118,"anchor":118,"target":118,"linktype":136},"#testlaufzeit",{"type":942,"attrs":2963,"content":2965},{"id":2964,"level":1246},"die-population-stichproben-einheit",[2966],{"text":2897,"type":513},{"type":42,"content":2968},[2969],{"text":2970,"type":513},"Die für einen Test relevante Population wird darüber definiert, dass Nutzer:innen durch den Test beeinflusst werden können. Wird bspw. in einem Experiment die Produktdetailseite (PDS) verändert, besteht die Population aus allen Nutzer:innen, die eine PDS besucht haben. Im Experiment versuchen wir dann anhand einer Stichprobe zu überprüfen, ob sich das Verhalten dieser Population durch eine unserer Testvarianten signifikant verändern würde.",{"type":42,"content":2972},[2973],{"text":2974,"type":513},"Stichproben bestehen meistens aus eindeutigen Nutzern (genau genommen Nutzer-IDs). Möglich, aber selten, sind auch andere Einheiten, wie Sitzungen oder Pageviews.",{"type":942,"attrs":2976,"content":2978},{"id":2977,"level":1246},"die-stichprobezuordnung",[2979],{"text":2907,"type":513},{"type":42,"content":2981},[2982],{"text":2983,"type":513},"Bei A/B-Tests werden die Testteilnehmer:innen nahezu immer zufällig einer Testvariante zugewiesen. Bei einer ausreichend großen Stichprobe wird dadurch gewährleistet, dass diese über den Testzeitraum repräsentativ ist.",{"type":42,"content":2985},[2986,2988,2992],{"text":2987,"type":513},"Relevant ist auch das Verhältnis der Stichprobengrößen zwischen den einzelnen Varianten: ",{"text":2989,"type":513,"marks":2990},"üblich ist eine Gleichverteilung auf alle Varianten",[2991],{"type":959},{"text":2993,"type":513},". Andere Verteilungen, um etwa das Risiko unterlegener Varianten zu minimieren, sind aber ebenfalls möglich.",{"type":942,"attrs":2995,"content":2997},{"id":2996,"level":1246},"hypothese-nullhypothese-und-alternativhypothese",[2998],{"text":2917,"type":513},{"type":42,"content":3000},[3001,3003,3009],{"text":3002,"type":513},"Die ",{"text":3004,"type":513,"marks":3005},"Hypothese",[3006],{"type":955,"attrs":3007},{"href":3008,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/conversion-whiteboard/conversion-whiteboard-17-das-hypothesen-template-fuer-erfolgreichere-ab-tests.html",{"text":3010,"type":513}," beschreibt als zentrale Aussage, was wir mit unserem Experiment nachweisen möchten.",{"type":42,"content":3012},[3013,3014,3018],{"text":3002,"type":513},{"text":3015,"type":513,"marks":3016},"Alternativhypothese",[3017],{"type":959},{"text":3019,"type":513}," beschreibt die durch die optimierte Variante zu erwartenden Veränderung(en) in der Zielmetrik, damit diese als Erfolg bewertet wird. Das kann ganz simpel ein grundsätzlicher Uplift in der Conversion Rate sein, aber auch ein spezifischer Mindest-Uplift, zum Beispiel in Höhe von zwei Prozent.",{"type":42,"content":3021},[3022,3023,3027],{"text":3002,"type":513},{"text":3024,"type":513,"marks":3025},"Nullhypothese",[3026],{"type":959},{"text":3028,"type":513}," beschreibt das Gegenteil unserer Alternativhypothese. Sie besagt also, dass es keinen Unterschied zwischen der Control und der Variante gibt – im Beispiel oben also keinen (Mindest-)Uplift in der Conversion Rate.",{"type":42,"content":3030},[3031],{"text":3032,"type":513},"Ein signifikantes Ergebnis bedeutet, dass wir die Nullhypothese verwerfen und stattdessen unsere Alternativhypothese annehmen.",{"type":942,"attrs":3034,"content":3036},{"id":3035,"level":1246},"die-zielmetrik-en",[3037],{"text":2927,"type":513},{"type":42,"content":3039},[3040],{"text":3041,"type":513},"Anhand der Zielmetrik als zentrale Messgröße vergleichen wir die Leistung der verschiedenen Varianten. Die Wahl der richtigen Zielmetrik ist entscheidend, da sie den Fokus des Tests festlegt und direkten Einfluss auf die Schlussfolgerungen und Entscheidungen hat.",{"type":42,"content":3043},[3044,3046,3050,3052,3057],{"text":3045,"type":513},"Die Zielmetrik sollte möglichst nahe an der Business-relevanten Metrik liegen und muss zum erwarteten Verhalten der Hypothese passen. ",{"text":3047,"type":513,"marks":3048},"Idealerweise hat ein Experiment genau eine Zielmetrik",[3049],{"type":959},{"text":3051,"type":513}," (",{"text":3053,"type":513,"marks":3054},"Primary Goal",[3055],{"type":3056},"italic",{"text":3058,"type":513},"), um zu entscheiden, ob eine Variante ein Gewinner ist oder nicht.",{"type":42,"content":3060},[3061,3063,3067],{"text":3062,"type":513},"Das soll aber nicht grundlegend die Zahl der in einem Experiment gemessenen Metriken beschränken. ",{"text":3064,"type":513,"marks":3065},"Secondary Goals",[3066],{"type":3056},{"text":3068,"type":513}," sind essenziell, um das Verhalten der Nutzer:innen im Test zu verstehen und möglichst viel aus jedem Experiment zu lernen. Diese zusätzlichen Ziele sollten aber nicht herangezogen werden, um zu entscheiden, ob eine Variante ein Gewinner ist oder nicht.",{"type":942,"attrs":3070,"content":3072},{"id":3071,"level":1246},"risiko-fur-false-positives-alpha-fehler-konfidenzniveau",[3073],{"text":2937,"type":513},{"type":42,"content":3075},[3076,3078,3082,3084,3089],{"text":3077,"type":513},"Mit dem Signifikanzniveau bzw. dem Konfidenzniveau bestimmen wir vor dem Test, wie sehr die Daten gegen die Nullhypothese sprechen müssen, um einen Effekt als signifikant zu bewerten. ",{"text":3079,"type":513,"marks":3080},"Dadurch wird das",[3081],{"type":959},{"text":3083,"type":513}," ",{"text":3085,"type":513,"marks":3086},"Alpha-Fehler",[3087,3088],{"type":3056},{"type":959},{"text":3090,"type":513,"marks":3091},"****-Risiko für falsch-positive Ergebnisse begrenzt.",[3092],{"type":959},{"type":42,"content":3094},[3095],{"text":3096,"type":513},"Ein wichtiger Aspekt dabei ist, eine mögliche Alpha-Fehler-Kumulierung (Multiple Testing Problem) zu berücksichtigen. Diese tritt immer dann auf, wenn anhand einer Stichprobe mehrere Auswertungen durchgeführt werden, beispielsweise bei einem Test mit einer Control-Gruppe und zwei weiteren Varianten. Hier wird nicht nur ein Test durchgeführt (Control vs. Variante), sondern direkt zwei (Control vs. Variante 1 und Control vs. Variante 2). Damit erhöhen wir das Gesamtrisiko, dass in einem der beiden Tests ein falsch-positives Ergebnis vorliegen könnte. Es gibt eine Vielzahl von Methoden, um diesem Effekt entgegenzuwirken, beispielsweise eine Anpassung des Konfidenzniveaus. Dies sollte unbedingt bereits im Experiment-Design berücksichtigt und dokumentiert werden.",{"type":1828,"attrs":3098,"content":3099},{"tight":51},[3100],{"type":1831,"content":3101},[3102],{"type":42,"content":3103},[3104,3106,3112],{"text":3105,"type":513},"Siehe dazu auch mein ",{"text":3107,"type":513,"marks":3108},"Artikel über paralleles Testing und die verschiedenen Testmodelle",[3109],{"type":955,"attrs":3110},{"href":3111,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/experimentation/paralleles-testen.html",{"text":1458,"type":513},{"type":942,"attrs":3114,"content":3116},{"id":3115,"level":1246},"risiko-fur-false-negatives-beta-fehler-testpower",[3117],{"text":2947,"type":513},{"type":42,"content":3119},[3120,3122,3126],{"text":3121,"type":513},"Auch der umgekehrte Fall eines falsch-negativen Resultats ist möglich, bei dem das Ergebnis nicht signifikant ist, obwohl die Alternativhypothese zutrifft. Dieses _Beta-Fehler-_Risiko versuchen wir durch die ",{"text":3123,"type":513,"marks":3124},"Testpower",[3125],{"type":959},{"text":3127,"type":513}," zu kontrollieren.",{"type":42,"content":3129},[3130],{"text":3131,"type":513},"Die statistische Power ist die Wahrscheinlichkeit mittels eines Experiments einen Uplift nachweisen zu können, wenn dieser tatsächlich auch existiert. Die Power wird daher auch als Teststärke bezeichnet und gibt an, wie gut ein Test in der Lage ist, einen Unterschied signifikant nachzuweisen. Sie beschreibt also die Gegenwahrscheinlichkeit des zum Beta-Fehler.",{"type":42,"content":3133},[3134],{"text":3135,"type":513},"Die Power können wir beeinflussen, indem wir",{"type":1828,"attrs":3137,"content":3138},{"tight":51},[3139,3145,3151],{"type":1831,"content":3140},[3141],{"type":42,"content":3142},[3143],{"text":3144,"type":513},"das Konfidenzniveau anpassen: Je niedriger das Konfidenzniveau, umso größer die Power, sofern alle anderen Parameter konstant bleiben.",{"type":1831,"content":3146},[3147],{"type":42,"content":3148},[3149],{"text":3150,"type":513},"den Kontrast der Varianten erhöhen: Dadurch steigt der erwartete Effekt („Minimal Detectable Effect“, kurz MDE oder auf Deutsch MEI) und stärkere Effekte führen häufiger zu signifikanten Ergebnissen.",{"type":1831,"content":3152},[3153],{"type":42,"content":3154},[3155],{"text":3156,"type":513},"die Stichprobengröße anpassen: Die Chance einen Effekt signifikant nachzuweisen steigt mit der Stichprobengröße.",{"type":42,"content":3158},[3159],{"text":3160,"type":513},"Da der MEI nicht ohne weitere Anpassung der Testvariante erfolgen kann und das Konfidenzniveau durch unser toleriertes Risiko für falsch-positive Resultate bestimmt werden sollte, ist die Stichprobengröße die eigentliche Stellschraube für die Power.",{"type":1828,"attrs":3162,"content":3163},{"tight":51},[3164],{"type":1831,"content":3165},[3166],{"type":42,"content":3167},[3168,3170,3176],{"text":3169,"type":513},"Siehe dazu auch ",{"text":3171,"type":513,"marks":3172},"Julia Engelmanns Artikel zur Testpower",[3173],{"type":955,"attrs":3174},{"href":3175,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/data-analytics/statistik-fehler-beim-a-b-testing-vermeiden.html",{"text":1458,"type":513},{"type":942,"attrs":3178,"content":3180},{"id":3179,"level":1246},"testlaufzeit",[3181],{"text":2957,"type":513},{"type":42,"content":3183},[3184],{"text":3185,"type":513},"Die geschätzte Testlaufzeit kann man als Endergebnis einer vollständigen Testplanung betrachten. Durch die Varianz in der Zielmetrik in der Population (wird z. B. durch die aktuelle Conversion Rate geschätzt), dem benötigten Konfidenzniveau und Power und dem erwarteten Effekt (MEI) wird die benötigte Stichprobengröße für eine bestimmte Nullhypothese berechnet.",{"type":42,"content":3187},[3188],{"text":3189,"type":513},"Teilen wir diese Stichprobengröße durch die wöchentlich zu erwartenden Nutzer:innen im Experiment (wird durch Traffic-Daten für die für den Test relevanten Seiten geschätzt), erhalten wir die erwartete Testlaufzeit.",{"type":942,"attrs":3191,"content":3193},{"id":3192,"level":944},"warum-braucht-es-eine-solide-testplanung",[3194],{"text":3195,"type":513},"Warum braucht es eine solide Testplanung?",{"type":42,"content":3197},[3198,3202],{"text":3199,"type":513,"marks":3200},"Mit einer sorgfältigen Testplanung wird sowohl die Effektivität, als auch die Effizienz eines Testingprogramms optimiert.",[3201],{"type":959},{"text":3203,"type":513}," Durch eine relevante Nullhypothese, einem angemessenen Konfidenzniveau und dem damit verbundenen begrenzten Risiko für falsch-positive Ergebnisse sowie einer ausreichend großen Stichprobe können wir sicherstellen, relevante Effekte überhaupt zu erkennen. Durch die Bestimmung einer optimalen Stichprobengröße für eine gewünschte Testpower stellen wir sicher, einen Test nicht zu lange laufen zu lassen – aber auch nicht zu früh zu beenden.",{"type":3205,"content":3206},"blockquote",[3207,3211],{"type":42,"content":3208},[3209],{"text":3210,"type":513},"Wir beobachten häufig bei Kunden, dass Tests immer genau eine oder zwei Wochen laufen, unabhängig von geschätzten Effekten. Dadurch können insbesondere kleinere Effekte übersehen werden.",{"type":42,"content":3212},[3213],{"text":3214,"type":513,"marks":3215},"Dr. René Gilster, Principal Behavioral Science",[3216],{"type":3056},{"type":42,"content":3218},[3219],{"text":3220,"type":513},"Wie entscheidend eine solide Testplanung, insbesondere eine valide Schätzung der benötigten Testlaufzeit für den Erfolg und ROI eines Testing-Programms ist, zeigt folgendes hypothetisches Szenario:",{"type":42,"content":3222},[3223],{"text":3224,"type":513},"Angenommen, du generierst im Jahr 100 Hypothesen und testest diese in einzelnen A/B-Tests. Nun nehmen wir zusätzlich an, dass von diesen 100 Hypothesen die Hälfte in Wahrheit zutreffen und die zugehörigen Varianten eigentliche Gewinner wären. Das bedeutet, du hättest in diesem Jahr 50 Gewinner und 50 Verlierer, welche wir durch A/B-Tests möglichst als solche erkennen wollen.",{"type":42,"content":3226},[3227],{"text":3228,"type":513},"Bei 50 Gewinnern bedeutet das:",{"type":42,"content":3230},[3231],{"text":3232,"type":513},"\u003Cfigure class=\"wp-block-table\">\u003Cp>\u003Ctable>\u003Ctbody> \u003Ctr> \u003Ctd>\u003Cstrong>Erzielte Power\u003C/strong>\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">90 %\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">80 %\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">60 %\u003C/td> \u003C/tr> \u003Ctr> \u003Ctd>\u003Cstrong>Erkannte Gewinner (True Positives)\u003C/strong>\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">45\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">40\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">30\u003C/td> \u003C/tr> \u003Ctr> \u003Ctd>\u003Cstrong>Falsch erkannte Gewinner (False Negatives)\u003C/strong>\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">5\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">10\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">20\u003C/td> \u003C/tr> \u003C/tbody>\u003C/table> \u003C/p> \u003Cfigcaption class=\"wp-element-caption\">Tabelle 1: Je niedriger die Testpower, desto mehr tatsächliche Gewinner bleiben unerkannt.\u003C/figcaption>\u003C/figure>",{"type":42,"content":3234},[3235],{"text":3236,"type":513},"Das Beispiel verdeutlicht, welchen Effekt die tatsächlich erzielte Power auf unsere Effektivität hat, tatsächliche Gewinner als solche zu erkennen. Selbst bei einer Power von 90 %, was häufig zu ambitioniert ist und in der Praxis zu unnötig langen Testlaufzeiten führt, würden im Schnitt 5 echte Gewinner unerkannt bleiben. Der vermeintliche Standardwert für die Power von 80 % führt im Durchschnitt dazu, dass 10 überlegene Varianten, durch einen A/B-Test nicht erkannt worden wären. Wenn zusätzlich noch unsauber geplant wurde (bspw. durch eine Überschätzung des MEIs) und die tatsächliche Power dadurch auf 60 % sinkt, werden 20 der echten Gewinner zu keinem signifikanten Ergebnis führen und die potenziell gewinnbringenden Varianten nicht ausgerollt. Und das nur, weil die Testplanung zu stark von der Wirklichkeit abweicht.",{"type":42,"content":3238},[3239],{"text":3240,"type":513},"Ein vollständiger und gut dokumentierter Testplan gibt zudem Sicherheit beim Anlegen, Durchführen und Analysieren von Experimenten. Entwickler haben eine Vorgabe, welche Zielgruppen, welche Traffic-Verteilung und welche Zielmetriken angelegt werden müssen. Die berechnete Testlaufzeit und Stichprobengröße legt eindeutig fest, wann der Test abgeschaltet werden soll und die Dokumentation der statistischen Nullhypothese, sowie des gewünschten Konfidenzniveaus legt schon vor Testbeginn genau fest, wie die Auswertung der Testresultate zu erfolgen hat. Die Testplanung ermöglicht dadurch also auch eine reibungslose Übergabe von Tests an Kolleg:innen ohne große Absprachen.",{"type":942,"attrs":3242,"content":3243},{"level":944},[3244],{"text":3245,"type":513},"Wie erstelle ich ein statistisch valides Testdesign?",{"type":42,"content":3247},[3248,3252,3253,3260,3261],{"text":3249,"type":513,"marks":3250},"Mit unserem neuen",[3251],{"type":959},{"text":3083,"type":513},{"text":3254,"type":513,"marks":3255},"kostenlosen Testplaner-Tool",[3256,3257],{"type":959},{"type":955,"attrs":3258},{"href":3259,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/tools/testplaner",{"text":3083,"type":513},{"text":3262,"type":513,"marks":3263},"kannst du alle relevanten Aspekte der Testplanung einheitlich, ansprechend und (auch für Nicht-Statistiker) leicht verständlich dokumentieren.",[3264],{"type":959},{"type":42,"content":3266},[3267],{"text":3268,"type":513},"Im Kern hat der Testplaner die Aufgabe, die Testlaufzeit für eine konkrete Hypothese zu errechnen. Einzigartig ist dabei die Möglichkeit, eine konkrete Nullhypothese zu definieren. Damit ist die Planung für Non-Inferiority-Tests oder Tests mit spezifischen Mindest-Uplifts genauso einfach möglich, wie für den normalen Standard-Case eines A/B-Tests auf einfache Überlegenheit.",{"type":42,"content":3270},[3271],{"text":3272,"type":513},"Zusätzlich kann eine individuelle Traffic-Verteilung auf die einzelnen Varianten berücksichtigt werden, wodurch automatisch auch eine Alpha-Fehler-Kumulierung bei mehreren Varianten berücksichtigt und dokumentiert wird. Ergänzend zu den Tipps direkt im Tool findest du zudem auf der Tool-Seite eine ausführliche Bedienungsanleitung mit Erklärungen aller Elemente.",{"type":42,"content":3274},[3275],{"text":3276,"type":513},"Viel Spaß beim Planen deiner Tests!",{"type":42,"content":3278},[3279],{"text":3280,"type":513},"Wenn du Fragen dazu hast oder Unterstützung bei deiner Testplanung brauchst, dann melde dich jederzeit gerne bei mir und meinen Kolleg:innen.",{"type":42,"content":3282},[3283,3287],{"text":3284,"type":513,"marks":3285},"Schon gewusst …?!",[3286],{"type":959},{"text":3288,"type":513}," Wir haben noch mehr Statistik- & Testing-Tools entwickelt, die uns tagtäglich dabei unterstützen, A/B-Tests richtig zu planen und valide auszuwerten. Nutze auch du sie, um deinen Optimierer-Alltag zu erleichtern und vertrauenswürdige Resultate zu erzielen.",{"type":42,"content":3290},[3291],{"text":3292,"type":513,"marks":3293},"Zur Tool-Übersicht",[3294],{"type":955,"attrs":3295},{"href":3296,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/tools",{"alt":2850,"src":3298,"name":30,"focus":30,"title":2850,"source":30,"filename":3298,"copyright":30,"fieldtype":49,"meta_data":3299,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/0w2rOS1H_solide-testplanung-blogpost-1620x500.png",{"alt":2850,"title":2850,"source":30,"copyright":30},[3301],"b348a411-f216-46f2-919b-f1dea40ec1c5","451fd8a8-e3fa-4c9e-a31f-e3ce43a13ea1",[3304,3318,3322,3326],{"name":3305,"created_at":3306,"published_at":3307,"updated_at":3308,"id":3309,"uuid":3302,"content":3310,"slug":3312,"full_slug":3313,"sort_by_date":118,"position":3314,"tag_list":3315,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":3316,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":3317,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"A/B-Testing","2025-10-15T15:37:26.765Z","2026-10-08T05:55:38.668Z","2026-10-08T05:55:38.683Z",101798079589699,{"_uid":3311,"component":2711},"5e6300bc-4c12-4474-989f-2407f81dd510","a-b-testing","de/_categories/a-b-testing",-220,[],"b7cb275d-1f95-495f-b237-934a8392e6f4",[],{"name":2705,"created_at":2706,"published_at":2707,"updated_at":2706,"id":2708,"uuid":2701,"content":3319,"slug":2712,"full_slug":2713,"sort_by_date":118,"position":2714,"tag_list":3320,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2717,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":3321,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2710,"component":2711},[],[],{"name":2721,"created_at":2722,"published_at":2707,"updated_at":2722,"id":2723,"uuid":2724,"content":3323,"slug":2727,"full_slug":2728,"sort_by_date":118,"position":2729,"tag_list":3324,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2731,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":3325,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2726,"component":2711},[],[],{"name":2734,"created_at":2735,"published_at":2707,"updated_at":2735,"id":2736,"uuid":2737,"content":3327,"slug":2740,"full_slug":2741,"sort_by_date":118,"position":2742,"tag_list":3328,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2744,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":3329,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2739,"component":2711},[],[],[],[3332,3335,3339],{"_uid":3333,"link":3334,"text":2753,"component":59},"dd407a7b-4f75-4c00-a5ea-c0582e7b28df",{"id":2751,"url":2752,"linktype":31,"fieldtype":32,"cached_url":2752},{"_uid":3336,"link":3337,"text":442,"component":59},"f3c94dcb-bb2d-40e9-8456-dfcdd317571b",{"id":2757,"url":2758,"linktype":31,"fieldtype":32,"cached_url":2758,"story":3338},{"name":442,"id":2760,"uuid":2757,"slug":440,"url":2758,"full_slug":2758,"_stopResolving":81},{"_uid":3340,"link":3341,"text":2850,"component":59},"d8ce9e47-ed91-4b56-81d8-37b35141da23",{"id":2854,"url":3342,"linktype":31,"fieldtype":32,"cached_url":3342,"story":3343},"de/blog/data-science/statistische-testplanung",{"name":2850,"id":2853,"uuid":2854,"slug":3344,"url":3345,"full_slug":3345,"_stopResolving":81},"statistische-testplanung","de/data-science/statistische-testplanung",[],"8",[],-120,[3351,3352],"statistik","Tools","f4672058-f062-47a9-afd4-00f531436d01","2023-08-09T09:19:36.000Z",[],{"name":3357,"created_at":3358,"published_at":905,"updated_at":3359,"id":3360,"uuid":3361,"content":3362,"slug":4166,"full_slug":4167,"sort_by_date":118,"position":4191,"tag_list":4192,"is_startpage":51,"parent_id":2801,"meta_data":118,"group_id":4193,"first_published_at":4194,"release_id":118,"lang":124,"path":118,"alternates":4195,"default_full_slug":118,"translated_slugs":118},"70% deiner A/B-Tests sind “underpowered”: So rockst du die Statistik","2025-10-15T16:26:00.758Z","2026-10-04T09:56:23.340Z",101810015302367,"32ca65ce-636f-4a92-b44e-fafed59d7c2a",{"seo":3363,"_uid":3366,"body":3367,"text":3365,"image":4092,"footer":30,"header":30,"authors":4095,"category":3302,"headline":3357,"component":2702,"categories":4096,"bottom_head":4152,"breadcrumbs":4153,"seo_noindex":51,"sidebar_cta":4168,"reading_time":4188,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":4189,"additional_slot":4190,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":3364,"plugin":912,"og_image":30,"og_title":3364,"description":3365,"twitter_image":30,"twitter_title":3364,"og_description":3365,"twitter_description":3365},"70% deiner A/B-Tests sind \"underpowered\": So rockst du die Statistik","Viele A/B-Tests werden zu früh abgebrochen und sind nicht valide. Steigere den Testerfolg und berechne Mindestlaufzeiten mit dem Sample Size Tool!","57423c1c-dfa7-4359-b4be-8fd387d6a515",[3368,3376,3387,3568,3579,3609,3620,3673,3683,3762,3773,3799,3810,3998,4009],{"_uid":3369,"text":3370,"component":924},"fc9663c9-e12e-4dde-9386-c85ac25583d6",{"type":39,"content":3371},[3372],{"type":42,"content":3373},[3374],{"text":3375,"type":513},"Schon wieder ein Test ohne Uplift. Auch dieses Mal kannst du nicht verstehen was schief gelaufen ist? Und wie sollst du das bloß deinem Chef erklären?",{"_uid":3377,"image":3378,"caption":3381,"component":936},"1feaa7fe-ecee-4ef6-854a-c5d43e03c120",{"alt":118,"src":3379,"name":30,"focus":30,"title":118,"source":30,"filename":3379,"copyright":30,"fieldtype":49,"meta_data":3380,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/Af8A9PEE_image-11-Kopie-1024x174.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":3382},[3383],{"type":42,"content":3384},[3385],{"text":3386,"type":513},"Quelle: konversionsKRAFT (2020)",{"_uid":3388,"text":3389,"component":924},"b407a3d8-588c-4051-b470-e739b544b9e5",{"type":39,"content":3390},[3391,3396,3426,3437,3450,3465,3485,3500,3507,3531,3551,3558,3563],{"type":42,"attrs":3392,"content":3393},{"textAlign":118},[3394],{"text":3395,"type":513},"Es gibt viele Gründe warum der Uplift eines A/B-Tests ausbleibt:",{"type":1828,"content":3397},[3398,3405,3412,3419],{"type":1831,"content":3399},[3400],{"type":42,"attrs":3401,"content":3402},{"textAlign":118},[3403],{"text":3404,"type":513},"Ein Konzept, das an den Bedürfnissen der Zielgruppe vorbei geht",{"type":1831,"content":3406},[3407],{"type":42,"attrs":3408,"content":3409},{"textAlign":118},[3410],{"text":3411,"type":513},"Eine ungenaue oder gar keine richtige Testhypothese",{"type":1831,"content":3413},[3414],{"type":42,"attrs":3415,"content":3416},{"textAlign":118},[3417],{"text":3418,"type":513},"Eine unzureichende Qualität im Design. Technische Bugs in der Umsetzung.",{"type":1831,"content":3420},[3421],{"type":42,"attrs":3422,"content":3423},{"textAlign":118},[3424],{"text":3425,"type":513},"Und so weiter…",{"type":42,"attrs":3427,"content":3428},{"textAlign":118},[3429,3431,3435],{"text":3430,"type":513},"In unserem Optimierer-Alltag beobachten wir aber immer wieder ein ganz anderes Problem, das eigentlich nichts mit dem Konzept an sich zu tun hat: ",{"text":3432,"type":513,"marks":3433},"Falsche Statistik und Fehler im quantitativen Vorgehen",[3434],{"type":959},{"text":3436,"type":513}," beim A/B Testings führen zu invaliden Test und statistisch insignifikanten Ergebnissen oder unschlüssigen Tests.",{"type":42,"attrs":3438,"content":3439},{"textAlign":118},[3440,3442,3448],{"text":3441,"type":513},"Dabei könnte man das eigentlich ganz einfach verhindern, indem man sich an wichtige ",{"text":3443,"type":513,"marks":3444},"Grundregeln der Statistik beim A/B Testing",[3445],{"type":955,"attrs":3446},{"href":3447,"uuid":118,"anchor":118,"target":1083,"linktype":136},"https://a.storyblok.com/f/328018/x/27a68e02bf/e-book_statistik-spickzettel-fuer-optimierer.pdf",{"text":3449,"type":513}," hält. Dazu gehört zum Beispiel, bereits vor dem Teststart die benötigte Testdauer zu bestimmen und den Test ausreichend lange laufen zu lassen.",{"type":42,"attrs":3451,"content":3452},{"textAlign":118},[3453,3455,3464],{"text":3454,"type":513},"Wie ein A/B-Test insgesamt abläuft, zeigt unser ",{"text":3456,"type":513,"marks":3457},"Leitfaden zum A/B-Testing",[3458],{"type":955,"attrs":3459},{"href":3460,"uuid":312,"anchor":118,"target":1083,"linktype":31,"story":3461},"/de/ab-testing",{"name":3305,"id":3462,"uuid":312,"slug":3463,"url":313,"full_slug":313,"_stopResolving":81},226463371945680,"ab-testing",{"text":1458,"type":513},{"type":42,"attrs":3466,"content":3467},{"textAlign":118},[3468,3470,3476,3477,3483],{"text":3469,"type":513},"In einer Studie von 115 durchgeführten A/B Tests hat der erfahrene Marketer und Gründer von ",{"text":3471,"type":513,"marks":3472},"Analytics-Toolkit.com",[3473],{"type":955,"attrs":3474},{"href":3475,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.analytics-toolkit.com",{"text":3083,"type":513},{"text":3478,"type":513,"marks":3479},"Georgi Georgiev",[3480],{"type":955,"attrs":3481},{"href":3482,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.linkedin.com/in/geoprofi/",{"text":3484,"type":513}," herausgefunden, dass fast 70% dieser Tests “underpowered” waren (Mehr zum Begriff der Power findest du später im Artikel). Letztendlich bedeutet das, dass mehr als zwei Drittel der Tests eine unzureichende Stichprobengröße hatten und einfach zu früh abgeschaltet wurden um Uplifts valide nachweisen zu können. Diese Tests sind lapidar gesagt, eigentlich für die Tonne.",{"type":42,"attrs":3486,"content":3487},{"textAlign":118},[3488,3490,3499],{"text":3489,"type":513},"Wenn du mit einer Agentur testest, frag deshalb vor dem Start, wie sie Stichprobe und Laufzeit plant. Weitere Prüffragen stehen in unserem Ratgeber ",{"text":3491,"type":513,"marks":3492},"CRO-Agentur finden",[3493],{"type":955,"attrs":3494},{"href":3495,"uuid":318,"anchor":118,"target":1083,"linktype":31,"story":3496},"/de/cro-agentur-finden",{"name":3491,"id":3497,"uuid":318,"slug":3498,"url":319,"full_slug":319,"_stopResolving":81},226605306714828,"cro-agentur-finden",{"text":1458,"type":513},{"type":42,"attrs":3501,"content":3502},{"textAlign":118},[3503],{"text":3504,"type":513,"marks":3505},"In diesem Beitrag erfährst du:",[3506],{"type":959},{"type":2888,"attrs":3508,"content":3509},{"order":2890},[3510,3517,3524],{"type":1831,"content":3511},[3512],{"type":42,"attrs":3513,"content":3514},{"textAlign":118},[3515],{"text":3516,"type":513},"Warum wir A/B-Tests häufig zu früh abbrechen",{"type":1831,"content":3518},[3519],{"type":42,"attrs":3520,"content":3521},{"textAlign":118},[3522],{"text":3523,"type":513},"Wie du statistische Testpower sicherstellst",{"type":1831,"content":3525},[3526],{"type":42,"attrs":3527,"content":3528},{"textAlign":118},[3529],{"text":3530,"type":513},"Wie dir das Sample Size Tool hilft, bessere Tests zu starten",{"type":42,"attrs":3532,"content":3533},{"textAlign":118},[3534,3538,3540,3549],{"text":3535,"type":513,"marks":3536},"📺 Keine Angst vor der Kultur des Experimentierens!",[3537],{"type":959},{"text":3539,"type":513}," Oft ist es sehr hilfreich, sich mit anderen Fach- und Führungskräften auszutauschen, um häufig auftretende Fehler im A/B-Testing zu vermeiden. Das Ambassador Programm bietet dir eine solche Plattform. Neben regelmäßigen Meetups mit der Community kannst du dein Wissen zudem durch lehrreiche Videos erweitern. ",{"text":3541,"type":513,"marks":3542},"Bewirb dich jetzt",[3543],{"type":955,"attrs":3544},{"href":3545,"uuid":389,"anchor":118,"target":1083,"linktype":31,"story":3546},"/de/growth-ambassador-community",{"name":391,"id":3547,"uuid":389,"slug":3548,"url":390,"full_slug":390,"_stopResolving":81},62086251701816,"growth-ambassador-community",{"text":3550,"type":513},", um dein digitales Wachstumspotenzial auszuschöpfen!",{"type":942,"attrs":3552,"content":3553},{"level":944,"textAlign":118},[3554],{"text":3555,"type":513,"marks":3556},"Ein typischer A/B-Test Fail aus der Praxis",[3557],{"type":959},{"type":42,"attrs":3559,"content":3560},{"textAlign":118},[3561],{"text":3562,"type":513},"Was mit einem A/B Test passieren kann, wenn man sich nicht an eine ausreichende Testlaufzeit hält, zeigt folgendes Beispiel:",{"type":42,"attrs":3564,"content":3565},{"textAlign":118},[3566],{"text":3567,"type":513},"Angenommen, ein Test läuft auf der Website und die Variante zeigt einen Uplift von 10% auf die Conversion Rate. Die Ergebnisse sind nach zehn Tagen signifikant (Konfidenz >95%) und der Conversion Optimierer möchte den Test abschalten.",{"_uid":3569,"image":3570,"caption":3574,"component":936},"3310332a-fc37-427a-8dbf-4df890e75c3e",{"alt":3571,"src":3572,"name":30,"focus":30,"title":118,"source":30,"filename":3572,"copyright":30,"fieldtype":49,"meta_data":3573,"is_external_url":81},"laufzeit10tage","https://storage.googleapis.com/kk-website-assets/yv82dxGS_laufzeit10tage.png",{"alt":3571,"title":118,"source":30,"copyright":30},{"type":39,"content":3575},[3576],{"type":42,"content":3577},[3578],{"text":3386,"type":513},{"_uid":3580,"text":3581,"component":924},"968e9d33-968e-4393-b651-3a68a756a815",{"type":39,"content":3582},[3583,3587,3591,3595,3605],{"type":42,"content":3584},[3585],{"text":3586,"type":513},"Um ganz sicher zu gehen, hält er nochmal Rücksprache mit der Kollegin aus dem Data Team.",{"type":42,"content":3588},[3589],{"text":3590,"type":513},"Die Kollegin erinnert ihn daran, dass sie vor dem Teststart ja gemeinsam eine Schätzung der benötigten Dauer durchgeführt haben. Basierend darauf ergab sich eine benötigte Testlaufzeit von 4 Wochen, welche noch längst nicht erreicht ist.",{"type":42,"content":3592},[3593],{"text":3594,"type":513},"Zudem rät sie davon ab, regelmäßig ins Tool zu schauen bevor diese Grenze erreicht ist. Das erhöht die Fehlerrate enorm, also eine höhere Wahrscheinlichkeit, zufällig einen Uplift zu finden, der in Wahrheit gar nicht existiert und nur zufällig entstanden ist.",{"type":42,"content":3596},[3597,3599,3603],{"text":3598,"type":513},"Der Conversion Manager willigt ein: ",{"text":3600,"type":513,"marks":3601},"“Dann warten wir halt noch ein paar Tage. Was soll sich schon ändern”",[3602],{"type":3056},{"text":3604,"type":513},", denkt er sich….",{"type":42,"content":3606},[3607],{"text":3608,"type":513},"Ein paar Tage später dann die Ernüchterung. Tatsächlich ist der Effekt immer weiter zurückgegangen und die CTBC („Chance to Beat Control“) auf unter 80% gesunken.",{"_uid":3610,"image":3611,"caption":3615,"component":936},"3266ce9e-3e28-493a-a9c3-a9f2765c67a3",{"alt":3612,"src":3613,"name":30,"focus":30,"title":118,"source":30,"filename":3613,"copyright":30,"fieldtype":49,"meta_data":3614,"is_external_url":81},"laufzeit18Tage","https://storage.googleapis.com/kk-website-assets/fAT19xnw_laufzeit18Tage.png",{"alt":3612,"title":118,"source":30,"copyright":30},{"type":39,"content":3616},[3617],{"type":42,"content":3618},[3619],{"text":3386,"type":513},{"_uid":3621,"text":3622,"component":924},"783e05e0-16db-4d8a-8239-7892c78e338e",{"type":39,"content":3623},[3624,3631,3636,3649,3654,3659,3664],{"type":42,"attrs":3625,"content":3626},{"textAlign":118},[3627],{"text":3628,"type":513,"marks":3629},"Was ist bei dem Test passiert?",[3630],{"type":959},{"type":42,"attrs":3632,"content":3633},{"textAlign":118},[3634],{"text":3635,"type":513},"Was wir in der Praxis oft beobachten ist folgendes: Während der Test läuft, wird immer wieder ein Blick ins Tool geworfen ob bereits ein signifikanter Uplift vorliegt. Oft findet dieser Blick statt, bevor die Mindestlaufzeit erreicht wurde oder es mangelt überhaupt an solch einer Schätzung. Sobald ein signifikanter Uplift vorliegt, wird der Test vorzeitig abgeschaltet.",{"type":42,"attrs":3637,"content":3638},{"textAlign":118},[3639,3641,3647],{"text":3640,"type":513},"Beim ",{"text":3642,"type":513,"marks":3643},"frequentistischen",[3644],{"type":955,"attrs":3645},{"href":1884,"uuid":1885,"anchor":118,"target":1083,"linktype":31,"story":3646},{"name":1887,"id":1888,"uuid":1885,"slug":1889,"url":1890,"full_slug":1890,"_stopResolving":81},{"text":3648,"type":513}," Ansatz zum A/B Testing ist eine wichtige Voraussetzung für valide Ergebnisse, dass man VOR dem Test eine möglichst genaue Schätzung des zu erwartenden Impacts vornimmt und so zu einer Abschätzung der Testlaufzeit findet.",{"type":42,"attrs":3650,"content":3651},{"textAlign":118},[3652],{"text":3653,"type":513},"Der regelmäßige Blick in das Tool, vor Ablauf der Testdauer, ist hier grundsätzlich zu vermeiden!",{"type":42,"attrs":3655,"content":3656},{"textAlign":118},[3657],{"text":3658,"type":513},"Dadurch erhöht sich die Fehlerwahrscheinlichkeit, zwischendurch einen signifikanten Uplift zu beobachten der rein zufällig entstanden ist. Wenn man dann den Test abschaltet, identifiziert man fälschlicherweise einen Uplift, der aber eigentlich gar keiner ist.",{"type":42,"attrs":3660,"content":3661},{"textAlign":118},[3662],{"text":3663,"type":513},"Im Beispiel beruhte der zwischenzeitliche Effekt von 10% und die hohe CTBC nicht auf einem validen Ergebnis mit ausreichend langer Testlaufzeit sondern waren nur eine zufällige, kurzweilige Erscheinung die aber nicht auf eine signifikante Verbesserung der tatsächlichen Conversion Rate schließen ließ.",{"type":42,"attrs":3665,"content":3666},{"textAlign":118},[3667,3671],{"text":3668,"type":513,"marks":3669},"Anmerkung:",[3670],{"type":959},{"text":3672,"type":513}," Dieser Fall kann natürlich auch andersherum eintreten: Während des Tests beobachtet man zwar einen Uplift, der aber nicht signifikant erst. Erst nach Ablauf der berechneten Testdauer wird das Ergebnis signifikant.",{"_uid":3674,"image":3675,"caption":3678,"component":936},"4272fca3-72ac-45d0-8b6e-776f1411aba2",{"alt":118,"src":3676,"name":30,"focus":30,"title":118,"source":30,"filename":3676,"copyright":30,"fieldtype":49,"meta_data":3677,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/hD2UaJgo_Bildschirmfoto-2020-02-24-um-11.37.51-820x456.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":3679},[3680],{"type":42,"content":3681},[3682],{"text":3386,"type":513},{"_uid":3684,"text":3685,"component":924},"8f811df6-22ee-448c-94da-d415b5002bbd",{"type":39,"content":3686},[3687,3699,3706,3710,3714,3720,3726,3730,3742,3758],{"type":42,"content":3688},[3689,3694,3695],{"text":3690,"type":513,"marks":3691},"Fazit:",[3692,3693],{"type":3056},{"type":959},{"text":3083,"type":513},{"text":3696,"type":513,"marks":3697},"Führe eine Testdauerschätzung durch, BEVOR du den Test startest und vermeide, ständig in das Tool zu schauen bevor die Mindestlaufzeit erreicht ist. Es sei denn, es gibt gute Gründ__e das zu tun: Ein Blick ins Tool ist immer dann ratsam, wenn man einen starken Downcast beobachtet, der geschäftsschädigend sein kann und dazu führt, dass man den Test frühzeitig abschalten sollte.",[3698],{"type":3056},{"type":942,"attrs":3700,"content":3701},{"level":944},[3702],{"text":3703,"type":513,"marks":3704},"Statistische Testpower: Wie du den Uplift deiner Variante sicher nachweist",[3705],{"type":959},{"type":42,"content":3707},[3708],{"text":3709,"type":513},"Um diese Fehler zu vermeiden, muss man vor dem Teststart eine saubere Abschätzung der benötigten Testlaufzeit durchführen.",{"type":42,"content":3711},[3712],{"text":3713,"type":513},"Man spricht in diesem Zusammenhang auch von dem Begriff der statistischen Testpower:",{"type":42,"content":3715},[3716],{"text":3717,"type":513,"marks":3718},"Die statistische Power ist die Wahrscheinlichkeit mittels eines Experiments einen Uplift nachweisen zu können, wenn dieser tatsächlich auch existiert. Die Power wird daher auch als Teststärke bezeichnet und gibt an, wie gut ein Test in der Lage ist, einen Unterschied signifikant nachzuweisen.",[3719],{"type":3056},{"type":42,"content":3721},[3722],{"text":3723,"type":513,"marks":3724},"Wenn die Power eines Tests mindestens 80% beträgt, würde man von einem starken Test sprechen.",[3725],{"type":959},{"type":42,"content":3727},[3728],{"text":3729,"type":513},"Der Wert von 80% ist ein Standardwert, den man für das Power-Level beim A/B Testing verwendet.",{"type":42,"content":3731},[3732,3734,3740],{"text":3733,"type":513},"Das bedeutet, dass die Wahrscheinlichkeit bei 80% liegt, einen Uplift nachzuweisen, der auch tatsächlich existiert. Im Umkehrschluss besteht also immer noch ein 20 %iges Risiko, dass wir einen Uplift der in Wirklichkeit existiert nicht nachweisen. Vielleicht hast du schon von dem sogenannten „Beta-Fehler” oder einem „False Negative“ gehört (",{"text":3735,"type":513,"marks":3736},"Fehler 2. Art",[3737],{"type":955,"attrs":3738},{"href":3739,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Fehler_1._und_2._Art",{"text":3741,"type":513},").",{"type":42,"content":3743},[3744,3746,3750,3752,3757],{"text":3745,"type":513},"Ist die Power des Experiments zu niedrig, laufen wir Gefahr, reelle Uplifts nicht zu finden. Noch schlimmer: ",{"text":3747,"type":513,"marks":3748},"Wir schalten ein Experiment ab, weil es einen signifikanten Gewinner ausweist, der in Wirklichkeit gar keiner ist.",[3749],{"type":959},{"text":3751,"type":513}," Wenn so etwas auftritt, spricht man von einem „Alpha-Fehler“ oder einem „False-Positive“ (",{"text":3753,"type":513,"marks":3754},"Fehler 1. Art",[3755],{"type":955,"attrs":3756},{"href":3739,"uuid":118,"anchor":118,"target":118,"linktype":136},{"text":3741,"type":513},{"type":42,"content":3759},[3760],{"text":3761,"type":513},"Hier eine kleine Merkhilfe wie du die beiden Fehlerarten beim statistischen Testing unterscheiden kannst:",{"_uid":3763,"image":3764,"caption":3767,"component":936},"2e8dbfb5-3674-47aa-a016-10240ea5dab7",{"alt":118,"src":3765,"name":30,"focus":30,"title":118,"source":30,"filename":3765,"copyright":30,"fieldtype":49,"meta_data":3766,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/NTg6ZoVK_Bildschirmfoto-2020-02-24-um-11.44.45-820x446.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":3768},[3769],{"type":42,"content":3770},[3771],{"text":3772,"type":513},"Quelle: MatheGuru.com (2020)",{"_uid":3774,"text":3775,"component":924},"e899f420-0292-423c-bca0-f905c027a27f",{"type":39,"content":3776},[3777,3782,3786],{"type":942,"attrs":3778,"content":3779},{"level":944},[3780],{"text":3781,"type":513},"Berechne die benötigte Testdauer mit unserem Sample Size Tool",{"type":42,"content":3783},[3784],{"text":3785,"type":513},"Um die benötigte Testdauer zu berechnen, braucht es eine statistische Formel auf Basis der oben beschriebenen Power-Betrachtung.",{"type":42,"content":3787},[3788,3790,3797],{"text":3789,"type":513},"Wir haben dafür ein ",{"text":3791,"type":513,"marks":3792},"Tool",[3793],{"type":955,"attrs":3794},{"href":3795,"title":3796},"https://www.konversionskraft.de/tools/testlaufzeitrechner","Zum Testlaufzeitrechner von konversionsKRAFT",{"text":3798,"type":513}," entwickelt, das dir hilft, deine Uplifts sicher nachzuweisen und eine bessere Einschätzung für den nachweisbaren Effekt vornehmen zu können.",{"_uid":3800,"image":3801,"caption":3804,"component":936},"16f77a85-3944-4ba4-97f2-810af0bd90c5",{"alt":118,"src":3802,"name":30,"focus":30,"title":118,"source":30,"filename":3802,"copyright":30,"fieldtype":49,"meta_data":3803,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/ppeb_Qcd_Planung-eines-frequentistischen-AB-Tests-konversionsKRAFT-2024-820x383.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":3805},[3806],{"type":42,"content":3807},[3808],{"text":3809,"type":513},"Planung eines frequentistischen A/B-Tests (konversionsKRAFT 2024)",{"_uid":3811,"text":3812,"component":924},"59a59d29-d9e4-4f4a-8850-6a99c55e9dd7",{"type":39,"content":3813},[3814,3818,3831,3837,3843,3856,3862,3868,3893,3899,3914,3918,3922,3929,3934,3938,3942,3952,3956,3961,3971,3977,3981,3985,3990,3994],{"type":42,"content":3815},[3816],{"text":3817,"type":513},"Zur Berechnung der Testdauer benötigt das Tool folgende Informationen von dir, welche du auf der linken Seite in die Felder eingibst:",{"type":1828,"attrs":3819,"content":3820},{"tight":51},[3821],{"type":1831,"content":3822},[3823],{"type":42,"content":3824},[3825,3829],{"text":3826,"type":513,"marks":3827},"Visitors pro Monat",[3828],{"type":959},{"text":3830,"type":513}," – Die durchschnittliche monatliche Anzahl der Unique Visitors auf dem Seitentyp, der vertestet werden soll.",{"type":42,"content":3832},[3833],{"text":3834,"type":513,"marks":3835},"Planst du zum Beispiel einen Test auf der Produktdetailseite, so verwendet man hier die Anzahl der unique Visitors pro Monat, die die Produktdetailseite besucht haben.",[3836],{"type":3056},{"type":42,"content":3838},[3839],{"text":3840,"type":513,"marks":3841},"Wir empfehlen hier einen Durchschnittswert über mehrere Monate in der Berechnung zu bilden, um Einflüsse von Werbekampagnen oder saisonale Schwankungen abzufangen.",[3842],{"type":3056},{"type":1828,"attrs":3844,"content":3845},{"tight":51},[3846],{"type":1831,"content":3847},[3848],{"type":42,"content":3849},[3850,3854],{"text":3851,"type":513,"marks":3852},"Aktuelle Conversion Rate (in %) –",[3853],{"type":959},{"text":3855,"type":513}," Der Anteil der Visitors auf dem Seitentyp, der vertestet werden soll, mit mindestens einer Conversion an allen Visitors auf dem Seitentyp.",{"type":42,"content":3857},[3858],{"text":3859,"type":513,"marks":3860},"Wichtig ist, dass sich die Conversion Rate auf die Visitors bezieht, die die zu vertestende Seite besucht haben. Für den Test auf der Produktdetailseite verwendest du dann die Conversion Rate der Besucher, die überhaupt eine Produktdetailseite besucht haben (Tipp: Für die Berechnung empfehlen wir, ein entsprechendes Segment im Web Analytics Tool anzulegen, in dem die relevante Besucherbasis für den Seitentyp erfasst wird).",[3861],{"type":3056},{"type":42,"content":3863},[3864],{"text":3865,"type":513,"marks":3866},"Auch hier empfehlen wir, Werte über mehrere Monate zu einer durchschnittlichen Conversion Rate zu aggregieren.",[3867],{"type":3056},{"type":1828,"attrs":3869,"content":3870},{"tight":51},[3871,3881],{"type":1831,"content":3872},[3873],{"type":42,"content":3874},[3875,3879],{"text":3876,"type":513,"marks":3877},"Die Anzahl der Varianten",[3878],{"type":959},{"text":3880,"type":513}," – Das ist die Anzahl der Varianten (inklusive Control), die vertestet werden sollen.",{"type":1831,"content":3882},[3883],{"type":42,"content":3884},[3885,3887,3891],{"text":3886,"type":513},"Die Eingaben zum ",{"text":3888,"type":513,"marks":3889},"Konfidenzlevel und Power",[3890],{"type":959},{"text":3892,"type":513}," sind standardmäßig zur Berechnung auf 95 % für das Konfidenzlevel und 80% für die Power eingestellt. Du kannst diese natürlich trotzdem anpassen wenn du andere Werte verwenden möchtest.",{"type":42,"content":3894},[3895],{"text":3896,"type":513,"marks":3897},"Anmerkung: Die Berechnungen zur benötigten Testlaufzeit basieren auf einem einseitigen Hypothesentest.",[3898],{"type":3056},{"type":1828,"attrs":3900,"content":3901},{"tight":51},[3902],{"type":1831,"content":3903},[3904],{"type":42,"content":3905},[3906,3908,3912],{"text":3907,"type":513},"Das Feld ",{"text":3909,"type":513,"marks":3910},"Conversion-Wert in EUR ist ein optionales Feld",[3911],{"type":959},{"text":3913,"type":513},", das dir helfen soll, eine bessere Einschätzung des zu erwartenden Uplifts vorzunehmen und deinen Test besser priorisieren zu können. Es zeigt dir, welchen zusätzlichen Umsatz das Testkonzept auf Basis deiner Eingaben und eines bestimmten Uplifts generiert, wenn du das erfolgreiche Testkonzept ausrollen würdest.",{"type":42,"content":3915},[3916],{"text":3917,"type":513},"Das Feld musst du nicht zwingend ausfüllen um eine Testdauerschätzung durchführen zu können.",{"type":42,"content":3919},[3920],{"text":3921,"type":513},"Wir haben mehrere statistische Tools entwickelt, die uns tagtäglich dabei unterstützen zahlreiche A/B-Tests richtig zu planen und valide auszuwerten. Wir teilen gern unsere Schatzkiste mit dir, die deinen Optimierer-Alltag erleichtern wird und dabei hilft, vertrauensvolle Ergebnisse zu liefern.",{"type":42,"content":3923},[3924],{"text":3925,"type":513,"marks":3926},"Hier geht’s zur Tool-Schatzkiste",[3927],{"type":955,"attrs":3928},{"href":3296,"uuid":118,"anchor":118,"target":118,"linktype":136},{"type":942,"attrs":3930,"content":3931},{"level":944},[3932],{"text":3933,"type":513},"A/B-Testing mit dem Sample Size Tool richtig interpretieren",{"type":42,"content":3935},[3936],{"text":3937,"type":513},"Wie dir sicher schon aufgefallen ist, benötigt das Tool keine Eingabe von dir, welchen Uplift du eigentlich aus dem Test erwartest, obwohl dies doch eigentlich eine relevante Einflussgröße aus die Testlaufzeit ist. In vielen online verfügbaren Tools wird dieser Wert als Input vom Nutzer gefordert um eine Testdauerberechnung durchführen zu können.",{"type":42,"content":3939},[3940],{"text":3941,"type":513},"Wir möchten dir diese schwierige Einschätzung ein Stück weit abnehmen, indem das Tool dir in der Ausgabemaske rechts unterschiedliche Testdauerschätzungen für unterschiedliche Uplift-Szenarien anzeigt.",{"type":42,"content":3943},[3944,3946,3950],{"text":3945,"type":513},"Die dargestellten Uplifts bezeichnen den ",{"text":3947,"type":513,"marks":3948},"minimal nachweisbaren Uplift (MDE = Minimum detectable Effekt)",[3949],{"type":959},{"text":3951,"type":513}," auf Basis deiner Eingaben. Er gibt an, welchen Uplift du nachweisen kannst, wenn der Test zum Beispiel 1, 2 oder 3 Wochen laufen kann. Andersherum: Für unterschiedliche Uplifts die du nachweisen möchtest, wird die entsprechende benötigte Testlaufzeit (in vollen Wochen) bestimmt.",{"type":42,"content":3953},[3954],{"text":3955,"type":513},"Leider können wir dir damit die Einschätzung, wie hoch dieser nachweisbare Uplift denn nun eigentlich ist, nicht ganz abnehmen. Folgende zwei Fragestellungen können dir aber bei der Schätzung helfen:",{"type":942,"attrs":3957,"content":3958},{"level":1246},[3959],{"text":3960,"type":513},"1. Welche Uplifts sind realistisch?",{"type":42,"content":3962},[3963,3965,3969],{"text":3964,"type":513},"Das Tool gibt dir die Möglichkeit, unterschiedliche ",{"text":3966,"type":513,"marks":3967},"Uplift-Szenarien",[3968],{"type":959},{"text":3970,"type":513}," durchzurechnen: Was wäre ein Best-Case und was ein Worst-Case-Szenario?",{"type":42,"content":3972},[3973],{"text":3974,"type":513,"marks":3975},"Wir empfehlen dabei, den Uplift, den man erzielen kann, eher konservativer einzuschätzen um sicherzugehen, dass die Testdauer auch sicher ausreicht, wenn er doch etwas geringer ausfällt als du hoffst.",[3976],{"type":3056},{"type":42,"content":3978},[3979],{"text":3980,"type":513},"Oft ist es auch so, dass die Testdauer die man zur Verfügung hat, der begrenzende Faktor ist. Aussagen wie: “Wir müssen in 2 Wochen Ergebnisse haben” hat wahrscheinlich jeder Optimierer schon einmal gehört.",{"type":42,"content":3982},[3983],{"text":3984,"type":513},"Durch diese Betrachtungsweise in unserem Tool, bekommt man eine bessere Einschätzung, ob der Uplift, den man in zwei Wochen statistisch nachweisen kann, mit dem Testkonzept überhaupt realistisch zu erreichen ist. Mit einer sauberen Testdauerberechnung hat man eine gute Argumentationsgrundlage, um den Zeitraum zu verlängern, das Konzept zu überarbeiten oder sogar ein anderes, erfolgsversprechenderes Konzept in der Priorisierung vorzuziehen.",{"type":942,"attrs":3986,"content":3987},{"level":1246},[3988],{"text":3989,"type":513},"2. Wann ist ein Uplift im A/B-Test überhaupt Business relevant?",{"type":42,"content":3991},[3992],{"text":3993,"type":513},"Der minimal nachweisbare Uplift ist derjenige Uplift, den man auf Basis einer bestimmten Testdauer mindestens nachweisen möchte, um a) ein statistisch valides Ergebnis zu erzielen und b) zu zeigen, dass der Test ein Erfolg gewesen ist und man das Konzept nun ausrollen würde.",{"type":42,"content":3995},[3996],{"text":3997,"type":513},"Abgesehen von der statistischen Validität; ab wann würde man eigentlich sagen, dass ein Test aus Business Sicht erfolgreich war?",{"_uid":3999,"image":4000,"caption":4003,"component":936},"33fabc89-5c26-4922-81ad-f5c586bbbaaa",{"alt":118,"src":4001,"name":30,"focus":30,"title":118,"source":30,"filename":4001,"copyright":30,"fieldtype":49,"meta_data":4002,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/gEeEK7lF_Planung-eines-frequentistischen-AB-Tests-mit-Wert-konversionsKRAFT-2024-820x377.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":4004},[4005],{"type":42,"content":4006},[4007],{"text":4008,"type":513},"Planung eines frequentistischen A/B-Tests mit Wert (konversionsKRAFT 2024",{"_uid":4010,"text":4011,"component":924},"81bc7c17-baf6-42d8-a3c7-de6cea24d3fc",{"type":39,"content":4012},[4013,4017,4021,4025,4029,4033,4037,4041,4045,4054,4059],{"type":42,"content":4014},[4015],{"text":4016,"type":513},"Dafür ist es hilfreich, im Vorfeld eine Kosten-Nutzen-Betrachtung im Rahmen der Testplanung einfließen zu lassen und sich die Frage zu stellen: Welchen zusätzlichen Umsatz müsste das Konzept eigentlich erzielen, um die Kosten der Implementierung mindestens zu decken oder im besten Fall darüber hinaus signifikanten Gewinnzuwachs zu generieren?",{"type":42,"content":4018},[4019],{"text":4020,"type":513},"Wenn du dich schon einmal mit dem Thema ROI – Berechnungen von A/B Tests beschäftigt hast, weißt du vielleicht, dass es methodisch schwierig ist, den Wert eines Uplifts aus einem A/B Test in die Zukunft zu prognostizieren.",{"type":42,"content":4022},[4023],{"text":4024,"type":513},"Um aber überhaupt eine Schätzung des Umsatzwertes vornehmen zu können, wählen wir in diesem Rahmen einen pragmatischen Ansatz:",{"type":42,"content":4026},[4027],{"text":4028,"type":513},"Zum Einen werden dir im Tool die zusätzlichen Conversions angezeigt, die du auf Basis eines bestimmten Uplifts pro Monat erzielst, wenn das Testkonzept ausgerollt werden würde (Der Einfachheit halber werden hier keine Gewöhnungseffekte in Form von “Abschreibungsfaktoren” inkludiert, die den Uplift über die Zeit hinweg schmälern).",{"type":42,"content":4030},[4031],{"text":4032,"type":513},"Wenn du zusätzlich im Tool die optionale Angabe machst, wie hoch der Wert einer Conversion (in EUR) auf deiner Website aktuell ist (auf Basis einer monatlichen Durchschnittsbetrachtung), bekommst du im Ausgabefenster Informationen zur monetären Bewertung des Uplifts.",{"type":42,"content":4034},[4035],{"text":4036,"type":513},"Für unterschiedliche Uplift Szenarien wird dir angezeigt, welchen zusätzlichen Umsatz du erzielen würdest, wenn ein bestimmter Uplift eintritt und das Konzept auf alle Nutzer ausgerollt werden würde (auch hier gelten die vereinfachten ROI-Berechnungsregeln).",{"type":42,"content":4038},[4039],{"text":4040,"type":513},"Die zusätzlichen Conversions bzw. der zusätzliche Revenue dienen als Hilfestellung dafür, Kosten-Nutzen-Betrachtungen bereits bei der Testplanung einzubeziehen und eine vereinfachte ROI-Betrachtung durchzuführen. Indem die Business Relevanz schon in die Test-Roadmap-Planung mit einfließt, lassen sich Tests besser priorisieren.",{"type":42,"content":4042},[4043],{"text":4044,"type":513},"Unser Tool kann dir durch diese Betrachtungsweise helfen, wichtige Fragen bei der Testplanung besser einzuschätzen und zu beantworten. Die Entscheidung, welche Uplifts wirklich realistisch sind, können wir damit final nicht genau beantworten. A/B Testing ist letztendlich die Anwendung des Konzepts “Lernen, Validieren und Anpassen”. Das gilt auch bei der Testplanung. Je mehr Erfahrung man hierbei sammelt, desto hochwertiger werden die Tests.",{"type":3205,"content":4046},[4047],{"type":42,"content":4048},[4049,4051,4052],{"text":4050,"type":513},"„Es ist besser, unvollkommene Entscheidungen durchzuführen, als beständig nach vollkommenen Entscheidungen zu suchen, die es niemals geben wird.”",{"type":961},{"text":4053,"type":513},"– Charles de Gaulle",{"type":942,"attrs":4055,"content":4056},{"level":944},[4057],{"text":4058,"type":513},"5 Schritte für eine erfolgreiche Testplanung",{"type":2888,"attrs":4060,"content":4061},{"order":2890,"tight":51},[4062,4068,4074,4080,4086],{"type":1831,"content":4063},[4064],{"type":42,"content":4065},[4066],{"text":4067,"type":513},"Gehe unterschiedliche Uplift-Szenarien durch und versuche so gut es geht eine realistische Einschätzung vorzunehmen. Plane besser konservativ als zu positiv.",{"type":1831,"content":4069},[4070],{"type":42,"content":4071},[4072],{"text":4073,"type":513},"Definiere für dich, wie viel Uplift deine Variante mindestens erreichen muss, damit du von einem erfolgreichen Test sprichst.",{"type":1831,"content":4075},[4076],{"type":42,"content":4077},[4078],{"text":4079,"type":513},"Eine Kosten-Nutzen Analyse hilft dir dabei herauszufinden, ab welchem Uplift ein Test wirklich erfolgreich ist.",{"type":1831,"content":4081},[4082],{"type":42,"content":4083},[4084],{"text":4085,"type":513},"Berechne die Mindestlaufzeit und behalte diese fest im Auge.",{"type":1831,"content":4087},[4088],{"type":42,"content":4089},[4090],{"text":4091,"type":513},"Schalte den Test erst ab, wenn du die Mindestlaufzeit erreicht hast.",{"alt":3357,"src":4093,"name":30,"focus":30,"title":3357,"source":30,"filename":4093,"copyright":30,"fieldtype":49,"meta_data":4094,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/buU3lWX4_post-2-1620x500.jpg",{"alt":3357,"title":3357,"source":30,"copyright":30},[2677],[4097,4101,4113,4127,4140,4144,4148],{"name":3305,"created_at":3306,"published_at":3307,"updated_at":3308,"id":3309,"uuid":3302,"content":4098,"slug":3312,"full_slug":3313,"sort_by_date":118,"position":3314,"tag_list":4099,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":3316,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4100,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":3311,"component":2711},[],[],{"name":4102,"created_at":4103,"published_at":2707,"updated_at":4103,"id":4104,"uuid":4105,"content":4106,"slug":4108,"full_slug":4109,"sort_by_date":118,"position":494,"tag_list":4110,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":4111,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4112,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Conversion Analysen","2025-10-13T20:17:46.577Z",101159184727040,"6f75b37f-06c3-4a3a-bfe6-09e9700bcc50",{"_uid":4107,"component":2711},"ab193dc1-9f27-43af-8851-e06db679cba6","analysen","de/_categories/analysen",[],"a5ad7910-90ad-4fb5-b67d-700b3ebc9037",[],{"name":58,"created_at":4114,"published_at":4115,"updated_at":4116,"id":4117,"uuid":4118,"content":4119,"slug":4121,"full_slug":4122,"sort_by_date":118,"position":4123,"tag_list":4124,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":4125,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4126,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"2025-10-13T20:20:52.315Z","2026-10-08T05:47:03.890Z","2026-10-08T05:47:03.903Z",101159945518502,"364d2727-911e-41c4-b15c-1205edcf07ef",{"_uid":4120,"component":2711},"bfad03a7-f1bb-465f-b8c8-f0265d8805ad","conversion-optimierung","de/_categories/conversion-optimierung",-100,[],"fa5d4a3d-d28d-4392-bcf9-0a27d7ee893e",[],{"name":4128,"created_at":4129,"published_at":2707,"updated_at":4129,"id":4130,"uuid":4131,"content":4132,"slug":4134,"full_slug":4135,"sort_by_date":118,"position":4136,"tag_list":4137,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":4138,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4139,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Conversion Tools","2025-10-15T15:49:48.693Z",101801118559674,"e3c30648-101e-4e4d-bdab-af6f4422677a",{"_uid":4133,"component":2711},"4e72548c-4236-42e8-975f-65e8c73c35fb","conversion-tools","de/_categories/conversion-tools",-290,[],"e77b6435-62b6-4b6d-8c2f-9f78e9a2b15f",[],{"name":2705,"created_at":2706,"published_at":2707,"updated_at":2706,"id":2708,"uuid":2701,"content":4141,"slug":2712,"full_slug":2713,"sort_by_date":118,"position":2714,"tag_list":4142,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2717,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4143,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2710,"component":2711},[],[],{"name":2721,"created_at":2722,"published_at":2707,"updated_at":2722,"id":2723,"uuid":2724,"content":4145,"slug":2727,"full_slug":2728,"sort_by_date":118,"position":2729,"tag_list":4146,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2731,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4147,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2726,"component":2711},[],[],{"name":2734,"created_at":2735,"published_at":2707,"updated_at":2735,"id":2736,"uuid":2737,"content":4149,"slug":2740,"full_slug":2741,"sort_by_date":118,"position":2742,"tag_list":4150,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2744,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4151,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2739,"component":2711},[],[],[],[4154,4157,4161],{"_uid":4155,"link":4156,"text":2753,"component":59},"a1a1b98e-75cf-4256-97ec-c541b543da1e",{"id":2751,"url":2752,"linktype":31,"fieldtype":32,"cached_url":2752},{"_uid":4158,"link":4159,"text":442,"component":59},"6db2839b-13d5-4205-8838-97a43f26fb77",{"id":2757,"url":2758,"linktype":31,"fieldtype":32,"cached_url":2758,"story":4160},{"name":442,"id":2760,"uuid":2757,"slug":440,"url":2758,"full_slug":2758,"_stopResolving":81},{"_uid":4162,"link":4163,"text":3357,"component":59},"a6c2172d-c238-4188-9367-c2433c1db9fd",{"id":3361,"url":4164,"linktype":31,"fieldtype":32,"cached_url":4164,"story":4165},"de/blog/data-science/statistik-fehler-beim-a-b-testing-vermeiden",{"name":3357,"id":3360,"uuid":3361,"slug":4166,"url":4167,"full_slug":4167,"_stopResolving":81},"statistik-fehler-beim-a-b-testing-vermeiden","de/data-science/statistik-fehler-beim-a-b-testing-vermeiden",[4169],{"_uid":4170,"caption":30,"headline":2771,"component":2772,"subheadline":4171,"action_buttons":4183},"e3a0f03d-591c-4f5b-88fc-cfb4300d3f4f",{"type":39,"content":4172},[4173,4179],{"type":42,"attrs":4174,"content":4175},{"textAlign":118},[4176],{"text":2779,"type":513,"marks":4177},[4178],{"type":959},{"type":42,"attrs":4180,"content":4181},{"textAlign":118},[4182],{"text":2786,"type":513},[4184],{"_uid":4185,"icon":27,"link":4186,"text":2795,"intent":35,"component":36,"icon_position":37},"1dc878e2-93a4-45ab-b015-c789b83c645d",{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405,"story":4187},{"name":2792,"id":2793,"uuid":404,"slug":2794,"url":405,"full_slug":405,"_stopResolving":81},"13",[],[],-110,[],"dc725de4-7f2c-4773-85e5-4aaabe9c53b6","2023-02-28T10:15:11.000Z",[],{"name":4197,"created_at":4198,"published_at":4199,"updated_at":4200,"id":4201,"uuid":4202,"content":4203,"slug":4784,"full_slug":4785,"sort_by_date":118,"position":4790,"tag_list":4791,"is_startpage":51,"parent_id":4792,"meta_data":118,"group_id":4793,"first_published_at":4794,"release_id":118,"lang":124,"path":118,"alternates":4795,"default_full_slug":118,"translated_slugs":118},"Paralleles Testen: 3 Vorteile, von denen die innovativsten Unternehmen bereits profitieren","2025-10-15T16:25:51.777Z","2026-10-04T09:55:58.981Z","2026-10-04T09:56:03.560Z",101809978520285,"a13ee94f-a175-41f3-985e-710e8d228ed4",{"seo":4204,"_uid":4205,"body":4206,"text":30,"image":4727,"footer":30,"header":30,"authors":4730,"category":3302,"headline":4197,"component":2702,"categories":4731,"bottom_head":4770,"breadcrumbs":4771,"seo_noindex":51,"sidebar_cta":4786,"reading_time":4787,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":4788,"additional_slot":4789,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":4197,"plugin":912,"og_image":30,"og_title":4197,"description":30,"twitter_image":30,"twitter_title":4197,"og_description":30,"twitter_description":30},"ae1a8929-3efe-45a2-9046-b131afb2820e",[4207,4291,4303,4316,4328,4357,4369,4442,4454,4521,4533,4545,4557,4594,4606],{"_uid":4208,"text":4209,"component":924},"cc0fe16a-6fb8-4ce9-bfb6-4918ce842559",{"type":39,"content":4210},[4211,4222,4226,4230,4234,4246,4252,4273,4277,4282,4287],{"type":42,"content":4212},[4213,4215,4221],{"text":4214,"type":513},"Was unterscheidet innovative, wachstumsstarke Unternehmen wie Amazon, Microsoft, Uber, Airbnb oder booking.com von anderen? Sie führen, unter anderem, Tausende Experimente parallel durch",{"text":4216,"type":513,"marks":4217},"¹",[4218],{"type":955,"attrs":4219},{"href":4220,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://partner.booking.com/en-gb/click-magazine/industry-perspectives/role-experimentation-bookingcom",{"text":1458,"type":513},{"type":42,"content":4223},[4224],{"text":4225,"type":513},"Sie tun das, weil sie den (strategischen) Wert von Experimentation Programmen verstanden haben und wissen, dass die Anzahl der durchgeführten Tests – neben dem Anteil der positiven Ergebnisse und dem durchschnittlich erzeugten Uplift – ein entscheidender Erfolgsfaktor ist².",{"type":42,"content":4227},[4228],{"text":4229,"type":513},"Und sie sind bereit in Testing zu investieren, weil sie sich vor allem eines Vorteils bewusst sind: paralleles Testing liefert schnell Insights, die in allen Bereichen der Organisation verwendet werden können.",{"type":42,"content":4231},[4232],{"text":4233,"type":513},"Aber ist paralleles Testing tatsächlich der heilige Gral der Skalierbarkeit? Lässt sich dadurch wirklich Zeit sparen?",{"type":42,"content":4235},[4236,4238,4244],{"text":4237,"type":513},"So einfach wie das klingt, ist es jedoch nicht, wie teils ",{"text":4239,"type":513,"marks":4240},"kontroverse Diskussionen",[4241],{"type":955,"attrs":4242},{"href":4243,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://cxl.com/blog/can-you-run-multiple-ab-tests-at-the-same-time/",{"text":4245,"type":513}," zeigen. “Die Durchmischung von Nutzer:innen führt zu einer viel höheren Wahrscheinlichkeit eines Fehlers, sowie zu einer größeren täglichen und durchschnittlichen Varianz, was bedeutet, dass es schwieriger ist, verwertbare Ergebnisse zu erhalten”, mahnt Andrew Anderson, Head of Optimization bei Malwarebytes. Aber heißt das, parallele Tests liefern verwässerte oder gar falsche Ergebnisse?",{"type":42,"content":4247},[4248],{"text":4249,"type":513,"marks":4250},"Im Kontext von parallelem Testing gibt es einige Bedenken:",[4251],{"type":959},{"type":1828,"attrs":4253,"content":4254},{"tight":51},[4255,4261,4267],{"type":1831,"content":4256},[4257],{"type":42,"content":4258},[4259],{"text":4260,"type":513},"Ist es nötig, parallel laufende Tests voneinander zu isolieren, um ihre Ergebnisse nicht zu verwässern?",{"type":1831,"content":4262},[4263],{"type":42,"content":4264},[4265],{"text":4266,"type":513},"Ist paralleles Testing überhaupt geeignet, um valide Ergebnisse zu generieren?",{"type":1831,"content":4268},[4269],{"type":42,"content":4270},[4271],{"text":4272,"type":513},"Oder bremst die Komplexität von parallelen Tests sogar Innovation?",{"type":42,"content":4274},[4275],{"text":4276,"type":513},"Um diese Bedenken zu adressieren [Spoiler: und aufzulösen], müssen wir uns zunächst der Alternativen bewusst sein, ergo ein Verständnis für die verschiedenen Testmodelle entwickeln.",{"type":942,"attrs":4278,"content":4279},{"level":944},[4280],{"text":4281,"type":513},"Übersicht verschiedener Testmodelle",{"type":942,"attrs":4283,"content":4284},{"level":1246},[4285],{"text":4286,"type":513},"1. Serielles Testen",{"type":42,"content":4288},[4289],{"text":4290,"type":513},"Beim seriellen Testen laufen die Tests hintereinander ab. Du startest mit Test 1, wartest bis dieser abgeschlossen ist und beginnst dann Test 2. Beide Tests laufen auf beliebig wählbaren Anteilen des gesamten Traffics.",{"_uid":4292,"image":4293,"caption":4297,"component":936},"a8e84851-07da-4611-9583-85f638ce9303",{"alt":4294,"src":4295,"name":30,"focus":30,"title":118,"source":30,"filename":4295,"copyright":30,"fieldtype":49,"meta_data":4296,"is_external_url":81},"Serielles Testen","https://storage.googleapis.com/kk-website-assets/7k9bbyvg_serielles-testen-schema-820x165.png",{"alt":4294,"title":118,"source":30,"copyright":30},{"type":39,"content":4298},[4299],{"type":42,"content":4300},[4301],{"text":4302,"type":513},"Beim seriellen Testen laufen die Tests mit demselben Traffic getrennt nacheinander.",{"_uid":4304,"text":4305,"component":924},"fd4e1d37-4598-4a23-8b3c-73092d8e62e3",{"type":39,"content":4306},[4307,4312],{"type":942,"attrs":4308,"content":4309},{"level":1246},[4310],{"text":4311,"type":513},"2. Isoliertes Testen",{"type":42,"content":4313},[4314],{"text":4315,"type":513},"Beim isolierten Testen finden Test 1 und Test 2 im gleichen Zeitraum statt. Vorher wurde jedoch definiert, dass ein Teil der Nutzer:innen in Test 1 und der andere Teil in Test 2 landen. Diese Tests laufen zeitgleich, jede:r Nutzer:in sieht allerdings nur einen Test.",{"_uid":4317,"image":4318,"caption":4322,"component":936},"ea55b2ca-1b52-46d8-b9e0-810f8d79d8ad",{"alt":4319,"src":4320,"name":30,"focus":30,"title":118,"source":30,"filename":4320,"copyright":30,"fieldtype":49,"meta_data":4321,"is_external_url":81},"Isoliertes Testen","https://storage.googleapis.com/kk-website-assets/jn96Gi6O_isoliertes-testen-schema-820x394.png",{"alt":4319,"title":118,"source":30,"copyright":30},{"type":39,"content":4323},[4324],{"type":42,"content":4325},[4326],{"text":4327,"type":513},"Bei isolierten Tests wird der Traffic beliebig aufgeteilt. “Control” beschreibt jeweils den Status quo, “Variante” die veränderte Version",{"_uid":4329,"text":4330,"component":924},"3bc617cc-f164-4d63-9a49-dc53b822b5a4",{"type":39,"content":4331},[4332,4336,4340,4345,4349,4353],{"type":42,"content":4333},[4334],{"text":4335,"type":513},"Für Organisationen mit viel Traffic auf ihrer Website kann das ein echter Wettbewerbsvorteil sein, da sie (fast) beliebig viele Tests parallel durchführen können. Um dabei mit derselben Testpower testen zu können, müssen in dem Fall aber die Testlaufzeiten entsprechend verlängert werden.",{"type":42,"content":4337},[4338],{"text":4339,"type":513},"Vereinfacht ausgedrückt: Bei der doppelten Anzahl an Tests halbiert sich die Stichprobengröße, wodurch sich die Testlaufzeit verdoppelt.",{"type":942,"attrs":4341,"content":4342},{"level":1246},[4343],{"text":4344,"type":513},"3. Paralleles Testen",{"type":42,"content":4346},[4347],{"text":4348,"type":513},"Beim parallelen Testen laufen Experimente tatsächlich parallel, wodurch jede:r Nutzer:in gleichzeitig an Test 1 und Test 2 teilnehmen kann und dementsprechend mit den jeweils ausgelösten Zielen auch in beiden Tests mitgezählt wird.",{"type":42,"content":4350},[4351],{"text":4352,"type":513},"So würden sich also beispielsweise 100.000 Nutzer:innen zu je 50.000 Nutzer:innen in der Control und in der Variante des ersten Tests und in die Control und Variante des zweiten Tests aufteilen (siehe Abbildung unten). Wenn keine außergewöhnliche Abhängigkeit zwischen den Tests besteht und die Randomisierung des Testingtools funktioniert wie erwartet, sollten sich die Nutzer in jeder Variante des einen Tests ungefähr gleich auf die Varianten des zweiten Tests verteilen.",{"type":42,"content":4354},[4355],{"text":4356,"type":513},"Das bedeutet: In der Kontrollgruppe von Test 1 befinden sich zu ca. 50 % Nutzer:innen aus der Control des zweiten Tests sowie 50 % aus der Variante des zweiten Tests, ebenso wie sich in der Variante des ersten Tests gleich viele Nutzer:innen aus der Control und der Variante des zweiten Tests befinden. Dadurch sollten alle Effekte, die ein paralleler Test auf das Nutzerverhalten hat, im gleichen Maß in allen Varianten auftreten, wodurch die Vergleichbarkeit grundsätzlich gegeben ist.",{"_uid":4358,"image":4359,"caption":4363,"component":936},"c3ac3623-d339-4148-a061-75935e2b864d",{"alt":4360,"src":4361,"name":30,"focus":30,"title":118,"source":30,"filename":4361,"copyright":30,"fieldtype":49,"meta_data":4362,"is_external_url":81},"Paralleles Testen","https://storage.googleapis.com/kk-website-assets/2WYexMGm_paralleles-testen-schema-820x574.png",{"alt":4360,"title":118,"source":30,"copyright":30},{"type":39,"content":4364},[4365],{"type":42,"content":4366},[4367],{"text":4368,"type":513},"Beim parallelen Testen wird der Traffic jeweils pro Test aufgeteilt, sodass einzelne Nutzer:innen Teil beider Tests sind – entweder in der Control oder der Variante.",{"_uid":4370,"text":4371,"component":924},"9e8c9077-0d2f-4b99-a243-265b0062d8f7",{"type":39,"content":4372},[4373,4378,4383,4388,4393,4398,4403,4408,4413,4418,4423,4428,4433],{"type":42,"attrs":4374,"content":4375},{"textAlign":118},[4376],{"text":4377,"type":513},"Vor diesem theoretischen Hintergrund können wir nun die eingangs erwähnten Kritikpunkte diskutieren und klären, inwieweit diese tatsächlich als Nachteil von parallelen Tests zu verstehen sind. Demgegenüber stehen ohnehin verschiedene Vorteile, die paralleles Testing unserer Meinung nach zu einem überlegenen Ansatz machen.",{"type":942,"attrs":4379,"content":4380},{"level":944,"textAlign":118},[4381],{"text":4382,"type":513},"Vorteile von parallelem Testing",{"type":942,"attrs":4384,"content":4385},{"level":1246,"textAlign":118},[4386],{"text":4387,"type":513},"1. Wir können unbegrenzt viele Tests durchführen",{"type":42,"attrs":4389,"content":4390},{"textAlign":118},[4391],{"text":4392,"type":513},"Können Tests einfach parallel laufen, gibt es keine logische Grenze für die Anzahl an Tests, die ein Unternehmen durchführen kann. Egal ob im seriellen oder im isolierten Testing, der zur Verfügung stehende Traffic begrenzt die Anzahl an Tests in einem bestimmten Zeitraum (unabhängig vom Betrachtungszeitraum).",{"type":42,"attrs":4394,"content":4395},{"textAlign":118},[4396],{"text":4397,"type":513},"Mit parallelen Tests können Organisationen selbst auf Webseiten mit relativ wenig Traffic unbegrenzt experimentieren und dadurch die gleichen Wachstumstreiber nutzen, wie die eingangs genannten Marktführer. Da alle Hypothesen getestet werden können, verbreitet sich dadurch ein echtes Innovation-Mindset. Können aufgrund von Traffic Beschränkungen nur einige wenige Tests im Jahr durchgeführt werden und werden deswegen zahlreiche Ideen niemals getestet, sinkt die Motivation, kontinuierlich nach neuen Optimierungsmöglichkeiten (auch und gerade den kleinen) zu suchen.",{"type":42,"attrs":4399,"content":4400},{"textAlign":118},[4401],{"text":4402,"type":513},"Trotz des Hypes um grenzenloses Testing kann es aber durchaus technische Grenzen geben, die die Anzahl der gleichzeitig laufenden Tests in der Praxis beschränken kann. Müssen beispielsweise clientseitig beim Seitenaufruf zu viele Skripte des Testingtools ablaufen, kann dies Einfluss auf die Performance der Website haben und somit die UX grundsätzlich verschlechtern.",{"type":942,"attrs":4404,"content":4405},{"level":1246,"textAlign":118},[4406],{"text":4407,"type":513},"2. Hypothesen können sofort getestet werden",{"type":42,"attrs":4409,"content":4410},{"textAlign":118},[4411],{"text":4412,"type":513},"Wie viel einfacher fällt die Planung aus, wenn zunächst keine Rücksicht auf andere Tests genommen werden muss, um ein Experiment zu starten? Kein Warten darauf, bis der aktuelle Test beendet ist! Keine Diskussionen darüber, welcher Test eine höhere Relevanz hat! Keine Kompromisse bei der Testlaufzeit und damit auch der statistischen Power, weil der nächste Test nicht so lange warten kann!",{"type":42,"attrs":4414,"content":4415},{"textAlign":118},[4416],{"text":4417,"type":513},"Wenn alle Tests parallel laufen können, muss ein Experiment “nur” entwickelt und qualitätsgesichert werden, bevor er starten kann. Natürlich kann es gelegentlich Gründe dafür geben, mit dem Start eines Tests zu warten, bis ein anderer abgeschlossen ist; nämlich genau dann, wenn die Tests inhaltlich nicht zusammen passen bzw. sich widersprechen.",{"type":42,"attrs":4419,"content":4420},{"textAlign":118},[4421],{"text":4422,"type":513},"Ein plakatives Beispiel hierfür wäre, wenn Test 1 die Farbe Spacegrey als neue Hintergrundfarbe testet und ein weiterer Test 2 dieselbe Farbe als Schriftfarbe oder zum Einfärben von Icons benutzen möchte. Etwas praxisbezogener ist die Vorstellung, dass in einem Test ein Element (bspw. eine Menüleiste) entfernt wird, um das Layout zu vereinfachen, während ein weiterer Test Änderungen am Inhalt oder Design eben dieses Elements überprüft.",{"type":942,"attrs":4424,"content":4425},{"level":1246,"textAlign":118},[4426],{"text":4427,"type":513},"3. Einflüsse (Interferenzen) können sichtbar gemacht werden",{"type":42,"attrs":4429,"content":4430},{"textAlign":118},[4431],{"text":4432,"type":513},"Wenn wir in der Praxis Tests parallel laufen lassen möchten, hören wir häufig die Bedenken darüber, dass man ja nicht wissen kann, ob und wie die parallel laufenden Tests einander beeinflussen. Vielleicht funktionieren die Veränderungen aus Test 1 nur deswegen, weil Nutzer:innen einen bestimmten Reiz aus einem anderen Test erhalten haben (oder sie funktionieren gegenteilig genau deswegen nicht)? Vielleicht (dazu gleich mehr), aber gerade durch paralleles Testing und einer anschließenden segmentierten Auswertung nach Varianten-Zugehörigkeit in anderen Tests können wir diese Interferenzen wirklich sichtbar machen! Das ist also weniger ein Argument gegen paralleles Testen, sondern vielmehr eines dafür.",{"type":42,"attrs":4434,"content":4435},{"textAlign":118},[4436,4440],{"text":4437,"type":513,"marks":4438},"Ein Beispiel:",[4439],{"type":959},{"text":4441,"type":513}," Angenommen, es liefen zwei Tests mit jeweils einer Control und einer Variante parallel und wir möchten analysieren, ob die Variante des zweiten Tests das Ergebnis des ersten Tests beeinflusst hat. Zu diesem Zweck können in Test 1 zwei Segmente gebildet werden. Segment 1 enthält alle Nutzer:innen, die parallel in der Control-Gruppe des zweiten Tests waren und Segment 2 umfasst alle Nutzer:innen aus der Variante des zweiten Tests (siehe Abbildung unten). Unterscheiden sich die Effekte in beiden Segmenten deutlich, kann es sich um eine Interferenz der beiden Tests handeln, die ggf. weiter untersucht wird oder mit einem Folgetest evaluiert werden kann.",{"_uid":4443,"image":4444,"caption":4448,"component":936},"65334158-6fe3-43c4-9a82-3503de0a1de0",{"alt":4445,"src":4446,"name":30,"focus":30,"title":118,"source":30,"filename":4446,"copyright":30,"fieldtype":49,"meta_data":4447,"is_external_url":81},"Segmentbildung beim parallelen Testen","https://storage.googleapis.com/kk-website-assets/JK3HpHi0_paralleles-testen-ergebnis-1-820x491.png",{"alt":4445,"title":118,"source":30,"copyright":30},{"type":39,"content":4449},[4450],{"type":42,"content":4451},[4452],{"text":4453,"type":513},"Segmentbildung in Test 1. Die Segmente beinhalten Teilnehmer in Varianten eines anderen Tests",{"_uid":4455,"text":4456,"component":924},"2105d64e-5b14-4ac8-81df-a9c91c3de07b",{"type":39,"content":4457},[4458,4465,4470,4474,4478,4482,4487,4491,4495,4513,4517],{"type":42,"content":4459},[4460,4462,4463],{"text":4461,"type":513},"Würden wir die Tests unabhängig voneinander durchführen, also durch serielles oder isoliertes Testing, haben wir keine Möglichkeit, diesen Vergleich anzustellen.",{"type":961},{"text":4464,"type":513},"Grundsätzlich sei jedoch erwähnt, dass sich bei erwarteten Interferenzen ein MVT-Setup (Multivariates Testing) besser eignet als unabhängige Tests, die post hoc in einzelne Kombinationen segmentiert werden.",{"type":942,"attrs":4466,"content":4467},{"level":944},[4468],{"text":4469,"type":513},"(Vermeintliche) Nachteile von parallelem Testing",{"type":42,"content":4471},[4472],{"text":4473,"type":513},"Wie zu Beginn erwähnt, gibt es in der A/B-Testing-Community einige Stimmen, die vor einer erhöhten Fehlerwahrscheinlichkeit durch paralleles Testing warnen.",{"type":42,"content":4475},[4476],{"text":4477,"type":513},"Aber was ist denn überhaupt der Grundgedanke des Experimentierens?",{"type":42,"content":4479},[4480],{"text":4481,"type":513},"Wir setzen in einer Gruppe von Nutzer:innen einen Stimulus (Variante) und in der anderen nicht (Control). Abgesehen von dieser Änderung sollen sich Nutzer:innen aus beiden Gruppen identisch zusammensetzen, was in der Regel durch eine randomisierte Zuteilung in die Testgruppen sichergestellt wird. Dadurch leiten wir mit einer gewissen Konfidenz ab, dass alle “signifikanten” Unterschiede im Nutzerverhalten der Testgruppen ursächlich mit dem gesetzten Stimulus zusammenhängen.",{"type":942,"attrs":4483,"content":4484},{"level":1246},[4485],{"text":4486,"type":513},"1. Parallele Tests verwässern die Stichprobe und machen diese unbrauchbar",{"type":42,"content":4488},[4489],{"text":4490,"type":513},"Kritisiert wird, dass diese Grundprinzip beim parallelen Testing nicht mehr eingehalten wird. Die Befürchtung ist, dass Nutzer:innen durch gleichzeitig laufende Tests eine Website unterschiedlich erleben und somit die Ergebnisse des einzelnen Experiments verwässern, bei dem wir ja eigentlich versuchen, die Auswirkungen auf das Nutzerverhalten durch die Veränderung(en) in einer Variante isoliert zu bewerten.",{"type":42,"content":4492},[4493],{"text":4494,"type":513},"Dem würden wir entgegnen, dass es sich bei kontrollierten Online-Experimenten grundsätzlich nicht um Experimente unter Laborbedingungen handelt, sondern um sogenannte Feldexperimente, die von einer Vielzahl an externen Einflussfaktoren “gestört” werden können. Auch ohne einen zusätzlichen parallelen Test können wir nicht sicherstellen, dass alle Nutzer:innen in den Varianten dieselbe User Experience machen und derselben User Journey folgen.",{"type":42,"content":4496},[4497,4499,4511],{"text":4498,"type":513},"Manche Nutzer:innen gehen direkt zum Check-out, nachdem sie alle Produkte in den Warenkorb gelegt haben, andere sehen sich den Warenkorb zunächst nochmal an. Einige Nutzer:innen lesen die sorgsam erstellte und mit allerlei ",{"text":4500,"type":513,"marks":4501},"konsumpsychologischen Triggern optimierte Produktbeschreibung",[4502],{"type":955,"attrs":4503},{"href":4504,"uuid":4505,"anchor":118,"target":1083,"linktype":31,"story":4506},"/de/behavior-patterns/content-optimierung-ist-mehr-als-seo-einsatz-von-verhaltensmustern-in-webtexten","25e04ffc-0843-4adf-8981-692052e391fb",{"name":4507,"id":4508,"uuid":4505,"slug":4509,"url":4510,"full_slug":4510,"_stopResolving":81},"Content Optimierung ist mehr als SEO – Über den Einsatz von Verhaltensmustern in Webtexten",101807901720497,"content-optimierung-ist-mehr-als-seo-einsatz-von-verhaltensmustern-in-webtexten","de/behavior-patterns/content-optimierung-ist-mehr-als-seo-einsatz-von-verhaltensmustern-in-webtexten",{"text":4512,"type":513},", während andere nur am Preis interessiert sind und anhand dessen entscheiden, ob sie ein Produkt kaufen oder nicht.",{"type":42,"content":4514},[4515],{"text":4516,"type":513},"Die Varianz in den Daten eines Online Experiments ist also ohnehin groß. Der Einfluss durch eine (oder auch mehrere) zusätzliche Varianten aus parallelen Tests ist nur ein weiterer Faktor von vielen. Durch eine randomisierte Aufteilung der Nutzer:innen in die einzelnen Testsegmente und einer ausreichend großen Stichprobe können wir dennoch sicherstellen, dass sich die beobachtbaren Veränderungen in der User-Experience gleichmäßig über alle Testvarianten verteilen und somit eine Vergleichbarkeit gegeben ist.",{"type":42,"content":4518},[4519],{"text":4520,"type":513},"Das gilt auch bei parallelen Tests, da die Varianten-Zuteilung in beiden Tests unabhängig voneinander geschieht. Heißt: Wenn ein:e Nutzer:in bereits in einem Test ist und nun an einem zweiten Test teilnimmt, hat die Variante des ersten Tests keinen Einfluss darauf, welche Variante diese:r Nutzer:in im zweiten Test erlebt (siehe Abbildung unten). Control und Variante bleiben vergleichbar.",{"_uid":4522,"image":4523,"caption":4527,"component":936},"63ce62d7-d5be-4892-9ac1-a08eae22116a",{"alt":4524,"src":4525,"name":30,"focus":30,"title":118,"source":30,"filename":4525,"copyright":30,"fieldtype":49,"meta_data":4526,"is_external_url":81},"Ein Case für paralleles Testen","https://storage.googleapis.com/kk-website-assets/jdn3l8Ac_paralleles-testen-case-820x418.png",{"alt":4524,"title":118,"source":30,"copyright":30},{"type":39,"content":4528},[4529],{"type":42,"content":4530},[4531],{"text":4532,"type":513},"Normale (unabhängige) Aufteilung der Nutzer:innen in die Varianten von zwei parallelen Tests",{"_uid":4534,"text":4535,"component":924},"05addd9f-9b05-4e82-8cac-389972203d65",{"type":39,"content":4536},[4537],{"type":42,"content":4538},[4539,4543],{"text":4540,"type":513,"marks":4541},"Ausnahmen bestimmen die Regel:",[4542],{"type":959},{"text":4544,"type":513}," Zum Beispiel, wenn in einem Test untersucht wird, ob der Besuch des Warenkorbs vor dem Check-out verpflichtend sein soll, und in einem zweiten Test der Inhalt der Warenkorb-Seite optimiert wird (siehe Abbildung unten).",{"_uid":4546,"image":4547,"caption":4551,"component":936},"9513d7cd-f134-439e-bab0-bb77d2354bfa",{"alt":4548,"src":4549,"name":30,"focus":30,"title":118,"source":30,"filename":4549,"copyright":30,"fieldtype":49,"meta_data":4550,"is_external_url":81},"Ausnahmefall beim parallelen Testen","https://storage.googleapis.com/kk-website-assets/RCtaWvHv_paralleles-testen-beispiel-820x414.png",{"alt":4548,"title":118,"source":30,"copyright":30},{"type":39,"content":4552},[4553],{"type":42,"content":4554},[4555],{"text":4556,"type":513},"Beispiel für eine ungleiche Verteilung von Nutzer:innen bei abhängigen parallelen Tests",{"_uid":4558,"text":4559,"component":924},"06b170d3-126a-48f9-b602-e16a402e01c3",{"type":39,"content":4560},[4561,4565,4569,4573,4577,4582,4586,4590],{"type":42,"content":4562},[4563],{"text":4564,"type":513},"Die Variante, in der der Warenkorb verpflichtend ist, werden alle 50.000 Nutzer:innen auch am zweiten Test teilnehmen und sich zu jeweils 25.000 auf die beiden Varianten des zweiten Tests verteilen.",{"type":42,"content":4566},[4567],{"text":4568,"type":513},"Gleichzeitig werden die Nutzer:innen aus der Control des ersten Tests, welche sich dafür entscheiden, den Warenkorb zu überspringen und direkt zum Check-out zu gehen (hier: 30.000 Nutzer:innen), gar nicht am zweiten Test teilnehmen. Lediglich die 20.000 Nutzer:innen, welche freiwillig zum Warenkorb gehen, werden auch in den zweiten Test gelangen und sich dort zu jeweils 10.000 auf die beiden Varianten verteilen.",{"type":42,"content":4570},[4571],{"text":4572,"type":513},"Wenn die Variante des verpflichtenden Warenkorbs nun besser (oder schlechter) abschneidet, muss dies nicht am verpflichtenden Besuch des Warenkorbs liegen, sondern kann auch dadurch getrieben sein, dass in dieser Variante viel mehr (hier: 15.000) Nutzer:innen den optimierten Warenkorb gesehen haben.",{"type":42,"content":4574},[4575],{"text":4576,"type":513},"Das sind jedoch Edge Cases, die wir in der Regel antizipieren und durch ein alternatives Testing-Modell (seriell oder isoliert) umgehen können.",{"type":942,"attrs":4578,"content":4579},{"level":1246},[4580],{"text":4581,"type":513},"2. Die Validität der Ergebnisse wird beeinträchtigt",{"type":42,"content":4583},[4584],{"text":4585,"type":513},"Weitere Kritik zu einer vermeintlich erhöhten Fehlerquote bei parallelen Tests bezieht sich auf die möglichen Interferenzen zwischen den Testvarianten (siehe oben).",{"type":42,"content":4587},[4588],{"text":4589,"type":513},"Die Befürchtung ist, dass wenn parallel durchgeführte Experimente unabhängig voneinander ausgewertet werden und für jeden Test ein Gewinner bestimmt wird, Interferenzen nicht berücksichtigt werden. Das könnte dazu führen, dass eine unterlegene Kombination von Varianten ausgerollt wird.",{"type":42,"content":4591},[4592],{"text":4593,"type":513},"Im untenstehenden Diagramm haben wir beispielhafte Daten für so einen Fall skizziert (erste und zweite Spalte). In Test 1 erzielt die Control eine Conversion Rate (CR) von 6 %, die Variante eine CR von 5,5 %. In Test 2 erzielt die Variante eine höhere Conversion Rate als die Control (6,2 % > 5 %) und würde dementsprechend ausgerollt werden – zur Vereinfachung nehmen wir einen signifikanten Effekt an.",{"_uid":4595,"image":4596,"caption":4600,"component":936},"c52c3527-1d9b-49f3-8100-a161eb5d3625",{"alt":4597,"src":4598,"name":30,"focus":30,"title":118,"source":30,"filename":4598,"copyright":30,"fieldtype":49,"meta_data":4599,"is_external_url":81},"Auswertung aller Varianten-Kombinationen von zwei parallelen Tests","https://storage.googleapis.com/kk-website-assets/ZziKgzY1_paralleles-testen-ergebnis-2-820x456.png",{"alt":4597,"title":118,"source":30,"copyright":30},{"type":39,"content":4601},[4602],{"type":42,"content":4603},[4604],{"text":4605,"type":513},"Beispiel für eine Auswertung aller Varianten-Kombinationen von zwei parallelen Tests mit möglichen Interferenzen.",{"_uid":4607,"text":4608,"component":924},"57732f30-18bc-4307-9a2a-e48e86fda793",{"type":39,"content":4609},[4610,4614,4618,4645,4649,4657,4665,4669,4675,4680,4684,4688,4693,4703,4707,4711,4715,4723],{"type":42,"content":4611},[4612],{"text":4613,"type":513},"Sowohl die Unterlegenheit der V1 als auch die Überlegenheit der V2 kommen jedoch möglicherweise nur durch die Kombination der beiden Tests zustande, so die Bedenken aus der Community. Oder anders formuliert: Bei einem isolierten Test 1 hätte die Variante gewonnen, weil nur die Interferenz mit Test 2 zu einem Downcast führte.",{"type":42,"content":4615},[4616],{"text":4617,"type":513},"Diese These können wir allerdings leicht überprüfen, indem wir die Tests segmentiert auswerten, sprich alle Varianten-Kombinationen einzeln bewerten:",{"type":2888,"attrs":4619,"content":4620},{"order":2890,"tight":51},[4621,4627,4633,4639],{"type":1831,"content":4622},[4623],{"type":42,"content":4624},[4625],{"text":4626,"type":513},"Segment: User aus Test 1 Control und Test 2 Control (C-C)",{"type":1831,"content":4628},[4629],{"type":42,"content":4630},[4631],{"text":4632,"type":513},"Segment: C-V",{"type":1831,"content":4634},[4635],{"type":42,"content":4636},[4637],{"text":4638,"type":513},"Segment: V-C",{"type":1831,"content":4640},[4641],{"type":42,"content":4642},[4643],{"text":4644,"type":513},"Segment: V-V",{"type":42,"content":4646},[4647],{"text":4648,"type":513},"Wie im Beispiel oben (dritte Spalte) kann dabei tatsächlich herauskommen, dass unsere ursprüngliche Entscheidung für Kombination C-V suboptimal war. Die insgesamt höchste Conversion Rate ergab sich nämlich aus der Kombination V-V.",{"type":42,"content":4650},[4651,4653],{"text":4652,"type":513},"Wir können nicht ausschließen, dass ein solcher Fall tatsächlich auftreten kann. ",{"text":4654,"type":513,"marks":4655},"Aber ohne paralleles Testing (oder MVT) wüssten wir davon ja auch gar nichts.",[4656],{"type":959},{"type":42,"content":4658},[4659,4661],{"text":4660,"type":513},"Unsere Erfahrung bestätigt zudem, dass solche Effekte extrem selten auftreten und auch nie mit dem Ergebnis, dass die “falsche” Kombination zu einem Downcast führt. ",{"text":4662,"type":513,"marks":4663},"In der Praxis ergibt Plus mal Plus sozusagen niemals Minus.",[4664],{"type":959},{"type":42,"content":4666},[4667],{"text":4668,"type":513},"Und ganz abgesehen davon gilt: Wenn in deiner Organisation bereits seriell oder isoliert getestet wird, dann wurden daraus bestimmt schon einige Varianten in den Live-Betrieb ausgerollt; und andere wurden verworfen. Dadurch fehlt uns schlichtweg die Möglichkeit zu vergleichen, ob ebendiese verworfenen Varianten in Kombination mit Varianten aus zukünftigen Tests nicht vielleicht doch Gewinner geworden wären.",{"type":42,"content":4670},[4671],{"text":4672,"type":513,"marks":4673},"Genau genommen gibt es durch vergangene Tests also unzählige mögliche Kombinationen mit der aktuellen Variante, die wir überhaupt nicht testen. Wieso sollten dann die möglichen Interferenzen aus “heute” parallel laufenden Tests überhaupt relevant sein?",[4674],{"type":959},{"type":942,"attrs":4676,"content":4677},{"level":1246},[4678],{"text":4679,"type":513},"3. Die Komplexität wird erhöht",{"type":42,"content":4681},[4682],{"text":4683,"type":513},"Der Anspruch, wirklich alle parallel laufenden Tests immer segmentiert auszuwerten, um Interferenzen zu bemerken und stets die optimale Kombination von Varianten zu finden, würde sicherlich einen erheblichen Mehraufwand bedeuten und die Komplexität eines Testing-Programms erhöhen. Dieser Aufwand lohnt sich unserer Erfahrung nach aber nur selten (nämlich dann, wenn solche Interferenzen vorab als sehr wahrscheinlich eingeschätzt wurden).",{"type":42,"content":4685},[4686],{"text":4687,"type":513},"Vernachlässigen wir diesen Aspekt, reduziert eine parallele Testing-Strategie also sogar die Komplexität des ganzen Programms, denn hinzukommt, dass es letztlich keine klassische Roadmap-Planung mehr braucht, um zu definieren, wann welcher Test durchgeführt werden kann. Auch auf ein Scoring oder die Priorisierung von Testideen könnten wir dann verzichten, wenn sowieso jede Idee jederzeit getestet werden kann. Vergesst aber deshalb bitte niemals die Qualitätssicherung und die Prüfung von Test-Konzepten auf Sinnhaftigkeit. 😉",{"type":942,"attrs":4689,"content":4690},{"level":944},[4691],{"text":4692,"type":513},"Fazit: Beim parallelen Testen überwiegen die Vorteile!",{"type":42,"content":4694},[4695,4697,4701],{"text":4696,"type":513},"Die Vorteile von parallelem Testing ",{"text":4698,"type":513,"marks":4699},"in der Praxis",[4700],{"type":3056},{"text":4702,"type":513}," überwiegen die – vorwiegend theoretischen oder irrelevanten – Gegenargumente unserer Meinung nach deutlich.",{"type":42,"content":4704},[4705],{"text":4706,"type":513},"Kann es passieren, dass ein Testergebnis durch einen anderen parallelen Test beeinflusst wird? Ja, sicher.",{"type":42,"content":4708},[4709],{"text":4710,"type":513},"Kann es sein, dass dadurch ein tatsächlicher Verlierer fälschlicherweise als Gewinner erscheint? Sehr unwahrscheinlich.",{"type":42,"content":4712},[4713],{"text":4714,"type":513},"Wenn es solche Effekte gibt und sie erwartet werden, möchten wir dann nicht die Möglichkeit haben, diese auch zu analysieren? Wenn ja, dann sind parallele Tests neben MVT die einzige Möglichkeit dazu.",{"type":42,"content":4716},[4717,4721],{"text":4718,"type":513,"marks":4719},"Paralleles Testing bietet die Möglichkeit, das eigene Testing-Programm beinahe nach Belieben zu skalieren.",[4720],{"type":959},{"text":4722,"type":513}," Das Potenzial, das die enorme Geschwindigkeit, mit der wir dadurch Ideen testen und umsetzen können, darstellt, überwiegt sämtliche Risiken.",{"type":42,"content":4724},[4725],{"text":4726,"type":513},"Sogar kleine und mittlere Unternehmen, die nicht mit sieben- bis achtstelligem Traffic arbeiten können, haben durch paralleles Testing die Möglichkeit zu optimieren wie die Großen!",{"alt":4197,"src":4728,"name":30,"focus":30,"title":4197,"source":30,"filename":4728,"copyright":30,"fieldtype":49,"meta_data":4729,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/uL66WjHt_paralleles-testen-konversionskraft-1620x500.png",{"alt":4197,"title":4197,"source":30,"copyright":30},[3301],[4732,4736,4740,4744,4757],{"name":3305,"created_at":3306,"published_at":3307,"updated_at":3308,"id":3309,"uuid":3302,"content":4733,"slug":3312,"full_slug":3313,"sort_by_date":118,"position":3314,"tag_list":4734,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":3316,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4735,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":3311,"component":2711},[],[],{"name":2705,"created_at":2706,"published_at":2707,"updated_at":2706,"id":2708,"uuid":2701,"content":4737,"slug":2712,"full_slug":2713,"sort_by_date":118,"position":2714,"tag_list":4738,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2717,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4739,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2710,"component":2711},[],[],{"name":2721,"created_at":2722,"published_at":2707,"updated_at":2722,"id":2723,"uuid":2724,"content":4741,"slug":2727,"full_slug":2728,"sort_by_date":118,"position":2729,"tag_list":4742,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":2731,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4743,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2726,"component":2711},[],[],{"name":3305,"created_at":4745,"published_at":4746,"updated_at":4747,"id":4748,"uuid":4749,"content":4750,"slug":4752,"full_slug":4753,"sort_by_date":118,"position":119,"tag_list":4754,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":4755,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4756,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"2025-10-13T20:20:36.242Z","2026-10-08T05:55:32.229Z","2026-10-08T05:55:32.241Z",101159879683477,"430ab7d7-8d03-4995-856e-478aa05dd33e",{"_uid":4751,"component":2711},"f510a510-df14-4dd3-b179-909017021494","experimentation","de/_categories/experimentation",[],"27b82645-0fb7-46c1-85f9-4056d28d1b36",[],{"name":4758,"created_at":4759,"published_at":2707,"updated_at":4759,"id":4760,"uuid":4761,"content":4762,"slug":4764,"full_slug":4765,"sort_by_date":118,"position":4766,"tag_list":4767,"is_startpage":51,"parent_id":2716,"meta_data":118,"group_id":4768,"first_published_at":2718,"release_id":118,"lang":124,"path":118,"alternates":4769,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Strategie","2025-10-13T20:22:01.645Z",101160229498327,"d6cacac1-62c8-4c5e-a461-bf37484bf658",{"_uid":4763,"component":2711},"a5014570-7c3f-4ea6-8b89-7193ed38ddc8","strategie","de/_categories/strategie",-180,[],"bad80fce-e56e-480b-a1dc-fa97486f5db4",[],[],[4772,4775,4779],{"_uid":4773,"link":4774,"text":2753,"component":59},"857cbdc8-f147-4ef2-908b-b20a9a6a28cf",{"id":2751,"url":2752,"linktype":31,"fieldtype":32,"cached_url":2752},{"_uid":4776,"link":4777,"text":442,"component":59},"58e6d456-51a3-4a29-95fb-6a44a4631299",{"id":2757,"url":2758,"linktype":31,"fieldtype":32,"cached_url":2758,"story":4778},{"name":442,"id":2760,"uuid":2757,"slug":440,"url":2758,"full_slug":2758,"_stopResolving":81},{"_uid":4780,"link":4781,"text":4197,"component":59},"d3c1aa98-0692-4162-9c36-ef5e9ae930de",{"id":4202,"url":4782,"linktype":31,"fieldtype":32,"cached_url":4782,"story":4783},"de/blog/experimentation/paralleles-testen",{"name":4197,"id":4201,"uuid":4202,"slug":4784,"url":4785,"full_slug":4785,"_stopResolving":81},"paralleles-testen","de/experimentation/paralleles-testen",[],"14",[],[],-470,[],101806310923808,"da021ff1-e0e2-4bff-b9a8-eff2e819c431","2023-02-14T16:27:23.000Z",[],18,1791547879518]