[{"data":1,"prerenderedAt":3798},["ShallowReactive",2],{"story:de:de/data-science/multivariate-tests-simpson-paradoxon-testing-tool":3,"icon:chevron-right":1828,"icon:envelope":1829,"icon:linked-in":1830,"icon:x":1831,"icon:facebook":1832,"icon:cross":1833,"blog-teaser::/data-science/multivariate-tests-simpson-paradoxon-testing-tool:1":1834},[4,901],{"story":5,"cv":720,"rels":721,"links":893},{"name":6,"created_at":7,"published_at":8,"updated_at":9,"id":10,"uuid":11,"content":12,"slug":713,"full_slug":714,"sort_by_date":118,"position":715,"tag_list":716,"is_startpage":81,"parent_id":121,"meta_data":118,"group_id":717,"first_published_at":718,"release_id":118,"lang":124,"path":118,"alternates":719,"default_full_slug":118,"translated_slugs":118},"Settings","2025-02-26T17:11:48.854Z","2025-12-11T08:40:21.040Z","2025-12-11T08:40:21.063Z",632563359,"83ad7de7-b46f-48d7-9edc-3d89061e3d4f",{"_uid":13,"footer":14,"header":126,"component":499,"blog_read_more":500,"error_page_body":501,"error_page_head":671,"blog_author_head":687,"blog_bottom_head":701,"blog_sidebar_cta":702,"error_page_title":679,"blog_reading_time":703,"blog_bottom_buttons":704,"error_page_subtitle":685,"blog_meta_label_author":709,"blog_table_of_contents":710,"blog_meta_label_reading_time":711,"blog_meta_label_reading_minutes":712},"95ccfc97-3659-4608-8990-0248adfa1881",{"name":15,"created_at":7,"published_at":16,"updated_at":17,"id":18,"uuid":19,"content":20,"slug":116,"full_slug":117,"sort_by_date":118,"position":119,"tag_list":120,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":122,"first_published_at":123,"release_id":118,"lang":124,"path":118,"alternates":125,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Footer","2026-10-07T08:04:25.947Z","2026-10-07T08:04:25.973Z",632563360,"f91caf23-4392-4247-a497-5a33b5f8b0e2",{"cta":21,"_uid":45,"logo":46,"links":52,"component":82,"copyright":83,"logo_link":84,"legal_links":87},[22],{"_uid":23,"buttons":24,"caption":38,"component":43,"caption_position":44},"647620f2-206f-41a8-a066-1a9bcfafbedc",[25],{"_uid":26,"icon":27,"link":28,"text":34,"intent":35,"component":36,"icon_position":37},"290b992e-f2fa-47b9-805d-e59ebaab0660","chevron-right",{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},"dda7b895-91ef-4e7f-a501-501bafa8bc2b","","story","multilink","de/newsletter","Know-how ins Postfach","primary","util-button","leading",{"type":39,"content":40},"doc",[41],{"type":42},"paragraph","item-action-buttons","center","63d8b1e8-ed60-47da-be57-40b9eed794a0",{"id":47,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":48,"copyright":30,"fieldtype":49,"meta_data":50,"is_external_url":51},22764167,"https://a.storyblok.com/f/328018/236x25/9dd018f217/logo-bk.svg","asset",{},false,[53,60,66,72],{"_uid":54,"link":55,"text":58,"component":59},"31741abf-7693-4e4f-9502-d2c322e40b4f",{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},"ceb695b8-32ca-4bcc-b418-0148c2a00dc8","de/conversion-optimierung","Conversion-Optimierung","util-link",{"_uid":61,"link":62,"text":65,"type":30,"component":59},"e0155237-ab2f-4584-8cd8-2bfd210973c1",{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},"5df5215d-7c85-44aa-a463-137a895ed5f2","de/personalisierung","Personalisierung",{"_uid":67,"link":68,"text":71,"component":59},"2fc5d177-de04-4a95-b66f-83dd15c604e7",{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},"8c7b080c-9822-4a6e-ac1a-d3ac1930d644","de/kontakt","Kontakt",{"_uid":73,"link":74,"text":78,"component":59},"a84a6018-72c7-403e-a16d-9033ec862d46",{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":77},"d678066e-5183-42ca-9740-53aef05840bc","de/ueber-uns/karriere",{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},"Karriere",61774610481128,"karriere",true,"core-footer","© 2026 konversionsKRAFT AG",{"id":85,"url":30,"linktype":31,"fieldtype":32,"cached_url":86},"f74c775f-6663-471d-8909-a2c89001a39f","de/",[88,94,100,106,112],{"_uid":89,"link":90,"text":93,"component":59},"de414811-3677-47d5-9976-0b0ffcbf33cb",{"id":91,"url":30,"linktype":31,"fieldtype":32,"cached_url":92},"ff78948e-62fc-4366-bb99-35a4e445f7b7","de/datenschutzerklaerung","Datenschutz",{"_uid":95,"link":96,"text":99,"component":59},"61a55edc-2e44-4c34-85ee-592092d40fff",{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},"db985f58-3c1f-4682-a22c-1e309a879bfc","de/allgemeine-geschaeftsbedingungen","AGB",{"_uid":101,"link":102,"text":105,"component":59},"9dd6dd9c-8099-46cb-94eb-7a2eff25cafb",{"id":103,"url":30,"linktype":31,"fieldtype":32,"cached_url":104},"8844a87b-92ca-4340-ad83-45623ec51d28","de/impressum","Impressum",{"_uid":107,"link":108,"text":111,"component":59},"1c9552b5-81f7-49e0-b7c7-7f78e48fe757",{"id":109,"url":30,"linktype":31,"fieldtype":32,"cached_url":110},"c180fc5b-1552-4f9a-8096-7522c2fc74b8","de/barrierefreiheitserklaerung","Barrierefreiheitserklärung",{"_uid":113,"link":114,"text":115,"component":59},"7c9e9042-51c1-4e2d-b44e-43b819a28273",{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},"Cookies","footer","de/_settings/footer",null,-30,[],632563353,"265f0d28-1033-4059-a49d-3cbad3c63dd2","2025-05-05T09:35:19.813Z","default",[],{"name":127,"created_at":7,"published_at":128,"updated_at":129,"id":130,"uuid":131,"content":132,"slug":492,"full_slug":493,"sort_by_date":118,"position":494,"tag_list":495,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":496,"first_published_at":497,"release_id":118,"lang":124,"path":118,"alternates":498,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Header","2026-10-07T11:10:10.189Z","2026-10-07T11:10:10.205Z",632563358,"2f01a7ab-082d-45e9-adbe-b223c4ba9feb",{"_uid":133,"link":134,"logo":137,"links":141,"buttons":487,"component":491},"5ff93704-f742-47ed-92db-e5b13f03564b",{"id":30,"url":135,"linktype":136,"fieldtype":32,"cached_url":135},"https://www.konversionskraft.de","url",{"id":138,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":139,"copyright":30,"fieldtype":49,"meta_data":140,"is_external_url":51},21395391,"https://a.storyblok.com/f/328018/300x31/362acdb1c8/kk-logo-white.svg",{},[142,190,244,293,432,443],{"_uid":143,"link":144,"links":147,"title":188,"component":189},"b2cf1eaa-6274-4de9-bf12-eec7e5df59f9",{"id":145,"url":30,"linktype":31,"fieldtype":32,"cached_url":146},"147973fb-7b43-4d6d-a404-ab2c0678fbc2","de/loesungen/",[148,153,158,164,170,176,182],{"_uid":149,"link":150,"text":58,"component":59},"3a7093f2-25df-4ed5-b335-805febe74512",{"id":151,"url":30,"linktype":31,"fieldtype":32,"cached_url":152},"c9021c39-1839-49c7-98c4-4014de8cfe28","de/loesungen/conversion-optimierung",{"_uid":154,"link":155,"text":65,"component":59},"159678a7-7dd0-460b-b9d9-8741afdc2b23",{"id":156,"url":30,"linktype":31,"fieldtype":32,"cached_url":157},"3f593847-2edc-4128-9330-e5bd0c0cdeb8","de/loesungen/personalisierung-ueberblick",{"_uid":159,"link":160,"text":163,"component":59},"4214b02c-039c-4a9c-b545-3cbce68afe82",{"id":161,"url":30,"linktype":31,"fieldtype":32,"cached_url":162},"2f790b38-6102-44bf-be14-30eb612116b7","de/loesungen/redesign-absicherung","Relaunch-/Redesign-Absicherung",{"_uid":165,"link":166,"text":169,"component":59},"328ea4fc-4b3f-47ec-b944-44bd93652d5e",{"id":167,"url":30,"linktype":31,"fieldtype":32,"cached_url":168},"556166c5-b13e-4cb7-9f29-b3ee70e89da5","de/loesungen/mehr-marketingeffizienz","Online-Marketing & Kampagnenoptimierung",{"_uid":171,"link":172,"text":175,"component":59},"836ef4eb-2dc4-419e-b607-99f8e0a55eea",{"id":173,"url":30,"linktype":31,"fieldtype":32,"cached_url":174},"f0d0c226-175e-437e-9ec3-2a774d53176b","de/loesungen/kundenbindung-loyalty","Kundenbindung & Loyalty",{"_uid":177,"link":178,"text":181,"component":59},"b4b4fb97-e791-42a6-b3a1-b1eff37e39cc",{"id":179,"url":30,"linktype":31,"fieldtype":32,"cached_url":180},"8384ac3d-99d5-450c-a366-97de897ba6c4","de/loesungen/kundenzentrierung","Kundenzentrierte Test-/Experimentierkultur",{"_uid":183,"link":184,"text":187,"component":59},"6bb72781-75bb-447e-8c30-4e3731e74c1b",{"id":185,"url":30,"linktype":31,"fieldtype":32,"cached_url":186},"3e74fa84-d5dd-4989-9b54-dc4b17d78d61","de/loesungen/product-discovery","Produktentwicklung & MVP-Begleitung","Lösungen","util-link-list",{"_uid":191,"link":192,"links":195,"title":243,"component":189},"c72751dc-01ca-4393-88d5-f98044c20dfe",{"id":193,"url":30,"linktype":31,"fieldtype":32,"cached_url":194},"3d5d20be-27f5-4633-85b0-bd2e681643a7","de/case-studies/case-study-ueberblick",[196,202,208,213,219,225,231,237],{"_uid":197,"link":198,"text":201,"component":59},"7842509a-13c2-4d57-887d-eca5e88c29c0",{"id":199,"url":30,"linktype":31,"fieldtype":32,"cached_url":200},"432ec656-e9cb-4462-85f3-0d653d33bcd3","de/case-studies/case-study-betzold","Betzold: Personalisierung für KMU",{"_uid":203,"link":204,"text":207,"component":59},"edd83cb1-2bb0-469a-8007-d76d26c94804",{"id":205,"url":30,"linktype":31,"fieldtype":32,"cached_url":206},"b2f8d181-b222-4b79-a35a-ffc813533953","de/case-studies/case-study-freenet-ag","Freenet: CRO Team aufbauen & Inhousing",{"_uid":209,"link":210,"text":212,"component":59},"c43a5159-7404-431a-a873-696fc2415618",{"id":30,"url":211,"linktype":136,"fieldtype":32,"cached_url":211},"https://www.konversionskraft.de/innovationsmanagement/design-sprints.html","Telefonica: Innovation mit Design Sprints",{"_uid":214,"link":215,"text":218,"component":59},"79bdb63a-dd36-468f-ad57-1ff6352335ff",{"id":216,"url":30,"linktype":31,"fieldtype":32,"cached_url":217},"9da92b5c-0b48-463c-96af-f324d5951218","de/case-studies/case-study-computeruniverse","computeruniverse: Echtzeit Personalisierung",{"_uid":220,"link":221,"text":224,"component":59},"ed7cefbb-abbd-4bbe-ad78-97923943a968",{"id":222,"url":30,"linktype":31,"fieldtype":32,"cached_url":223},"bbad9c18-473e-4035-bb5a-9ec561f46a1d","de/case-studies/case-study-goertz","Görtz: Design Driven Relaunch",{"_uid":226,"link":227,"text":230,"component":59},"0025c2b0-0253-444d-89be-9bbae77b66fd",{"id":228,"url":30,"linktype":31,"fieldtype":32,"cached_url":229},"c6eccf7f-3c04-4d2e-84d7-aca24c02131a","de/case-studies/case-study-haufe","Haufe: Customer Centricity",{"_uid":232,"link":233,"text":236,"component":59},"ce573bb0-0e46-4c94-a737-bec58af9b6b3",{"id":234,"url":30,"linktype":31,"fieldtype":32,"cached_url":235},"0d6607f2-7b17-4248-877e-fab97adadbbd","de/case-studies/case-study-aldi-sued-personalisierung","ALDI Süd: Kanalübergreifende Personalisierung",{"_uid":238,"link":239,"text":242,"component":59},"155dbddf-9f79-4a6e-a17e-9c044fba1145",{"id":240,"url":30,"linktype":31,"fieldtype":32,"cached_url":241},"cb05cdff-2855-4e30-8abe-b7c60fb50e07","de/ressourcen/studien/download-grow-report","G.R.O.W. Report & Canvas - Download","Cases",{"_uid":245,"link":246,"links":249,"title":292,"component":189},"290333ca-9ef6-4c0d-8878-f5c285374311",{"id":247,"url":30,"linktype":31,"fieldtype":32,"cached_url":248},"0a47fb29-43c0-480d-8192-fdec9bed2a00","de/branchen/",[250,256,262,268,274,280,286],{"_uid":251,"link":252,"text":255,"component":59},"e03779ff-4a0c-492b-a23f-82cc41ce1b42",{"id":253,"url":30,"linktype":31,"fieldtype":32,"cached_url":254},"9db23777-e782-4660-8772-9f6b5706455e","de/branchen/banking-finance","Banking & Finance",{"_uid":257,"link":258,"text":261,"component":59},"f87e851a-7b12-4e65-8e92-329f5c9320c3",{"id":259,"url":30,"linktype":31,"fieldtype":32,"cached_url":260},"df24ecee-0472-4e18-b719-98ae5a7eaf30","de/branchen/b2b","B2B",{"_uid":263,"link":264,"text":267,"component":59},"2e8b4eaa-1fc5-445c-976f-bf38a081e21f",{"id":265,"url":30,"linktype":31,"fieldtype":32,"cached_url":266},"bdd1cf11-ef56-4696-be69-fa57208726f9","de/branchen/ngo","Non-Governmental Organisations",{"_uid":269,"link":270,"text":273,"component":59},"fbfa0f52-59fb-4fe2-9124-29860f34613f",{"id":271,"url":30,"linktype":31,"fieldtype":32,"cached_url":272},"f6d46912-5fe2-4540-9d5b-c06a31e49306","de/branchen/telekommunikation","Telekommunikation",{"_uid":275,"link":276,"text":279,"component":59},"2c8f964f-f25d-47fe-ac8f-e11f53673926",{"id":277,"url":30,"linktype":31,"fieldtype":32,"cached_url":278},"7bfaf1a9-5c8e-4a08-92ce-80b5ed12e311","de/branchen/e-commerce","E-Commerce",{"_uid":281,"link":282,"text":285,"component":59},"7657fffb-c9f6-47f7-a970-a9a623d59aca",{"id":283,"url":30,"linktype":31,"fieldtype":32,"cached_url":284},"d972d186-d012-40ec-94bf-d6f072c006bd","de/branchen/conversion-optimierung-travel","Travel & Entertainment",{"_uid":287,"link":288,"text":291,"component":59},"95e5bd1c-820a-404c-9425-fa5726f46039",{"id":289,"url":30,"linktype":31,"fieldtype":32,"cached_url":290},"adec7223-27fe-48be-895d-542dd2154619","de/branchen/d2c","D2C","Branchen",{"_uid":294,"link":295,"links":298,"title":431,"component":189},"78233a78-d66e-44e6-9bc6-f04e21981a36",{"id":296,"url":30,"linktype":31,"fieldtype":32,"cached_url":297},"2868c027-4bca-49d6-a93e-64534a555c46","de/know-how-tools",[299,303,309,315,321,325,335,341,346,356,362,368,374,380,386,392,396,401,407,413,419,425],{"_uid":300,"link":301,"text":302,"component":59},"e1000000-0000-4000-8000-000000000001",{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},"Ratgeber: Was ist Conversion-Optimierung?",{"_uid":304,"link":305,"text":308,"component":59},"e1000000-0000-4000-8000-000000000002",{"id":306,"url":30,"linktype":31,"fieldtype":32,"cached_url":307},"c3fa47db-d9f1-440c-90f1-5edb09eff03b","de/customer-journey","Ratgeber: Was ist eine Customer Journey?",{"_uid":310,"link":311,"text":314,"component":59},"e1000000-0000-4000-8000-000000000003",{"id":312,"url":30,"linktype":31,"fieldtype":32,"cached_url":313},"cda69b30-8362-4d2d-80a3-ef4b9f11178a","de/ab-testing","Ratgeber: Was ist A/B-Testing?",{"_uid":316,"link":317,"text":320,"component":59},"e1000000-0000-4000-8000-000000000004",{"id":318,"url":30,"linktype":31,"fieldtype":32,"cached_url":319},"2c10eaf4-b33d-43f0-ac03-831a2c9513f2","de/cro-agentur-finden","Ratgeber: Wie finde ich eine gute CRO-Agentur?",{"_uid":322,"link":323,"text":324,"component":59},"e1000000-0000-4000-8000-000000000005",{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},"Ratgeber: Was ist Personalisierung?",{"_uid":326,"link":327,"text":334,"component":59},"5b065a95-dc2c-4157-9cce-36a5491d748a",{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":330},"f3c858d2-69c1-4782-a66c-03634b2258f6","de/weiterbildung/uebersicht-der-weiterbildungsangebote",{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},"Übersicht der Weiterbildungsangebote",61789049106112,"uebersicht-der-weiterbildungsangebote","Academy - E-Kurse & Schulungen",{"_uid":336,"link":337,"text":340,"component":59},"7f66786d-3901-4f91-b78b-5363f8a34cbd",{"id":338,"url":30,"linktype":31,"fieldtype":32,"cached_url":339},"cb7da046-7dd0-466b-a99d-5e01142617f1","de/ressourcen/download-bibliothek","Download Bibliothek - E-Books, Studien, Frameworks",{"_uid":342,"link":343,"text":345,"component":59},"8eb16b14-6456-4a01-8f2c-aa930c24ac5d",{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":344},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},"Weiterbildungen im Überblick",{"_uid":347,"link":348,"text":355,"component":59},"aff38e25-0be7-4a95-8247-7875f706c31d",{"id":349,"url":30,"linktype":31,"fieldtype":32,"cached_url":350,"story":351},"59affe36-02b5-42a7-9ef1-a2ea2e34bc71","de/webinare/",{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350,"_stopResolving":81},"Anstehende Webinare",62483764663535,"webinare","Webinare",{"_uid":357,"link":358,"text":361,"component":59},"2ab92889-dda6-4602-89d4-48b24e7a6e97",{"id":359,"url":30,"linktype":31,"fieldtype":32,"cached_url":360},"c96790f9-bb24-4408-873a-807fa6dab582","de/tools/","Statistik Tools",{"_uid":363,"link":364,"text":367,"component":59},"6332bc11-9aaf-402f-84b6-715384d999ad",{"id":365,"url":30,"linktype":31,"fieldtype":32,"cached_url":366},"c9edb73d-2ca1-4011-bc6f-6b60489a133b","de/weiterbildung/inhouse-lehrgang-zertifizierter-conversion-manager","Inhouse Lehrgang - Conversion Manager",{"_uid":369,"link":370,"text":373,"component":59},"b4dc283b-c2a3-4b37-bd4d-ab62342a5fc5",{"id":371,"url":30,"linktype":31,"fieldtype":32,"cached_url":372},"25e060e7-a7d4-43e4-845a-2287180afe78","de/weiterbildung/inhouse-schulung-product-discovery","Inhouse Training - Product Discovery ",{"_uid":375,"link":376,"text":379,"component":59},"f10472fa-9d8b-4ab7-96f8-2dd9c93f6553",{"id":377,"url":30,"linktype":31,"fieldtype":32,"cached_url":378},"af525344-9836-4511-81a1-4fb95c0e67aa","de/produkte/behavior-pattern-model-poster","Behavior Pattern Model Poster",{"_uid":381,"link":382,"text":385,"component":59},"fb118cba-5d23-4282-8a72-c27ea9a8aec9",{"id":383,"url":30,"linktype":31,"fieldtype":32,"cached_url":384},"9c48d4d5-330b-4b96-af5e-68a9cda735d4","de/produkte/behavior-patterns-kartenset","Behavior Pattern Kartenset",{"_uid":387,"link":388,"text":391,"component":59},"90aba8f9-395b-4f38-abad-71f05bc0449f",{"id":389,"url":30,"linktype":31,"fieldtype":32,"cached_url":390},"5dab273c-49bb-4f64-a3cd-de96f0d7b39f","de/growth-ambassador-community","Growth Ambassador Community",{"_uid":393,"link":394,"text":395,"component":59},"99cf735d-f680-4c48-9074-636c4830d35a",{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},"News & Know-how in dein Postfach",{"_uid":397,"link":398,"text":400,"component":59},"f5697cde-7f34-4274-9572-e5ec3e7457bd",{"id":30,"url":399,"linktype":136,"fieldtype":32,"cached_url":399},"https://www.growthmindedsuperheroes.com/","GMS - growth minded SUPERHEROES",{"_uid":402,"link":403,"text":406,"component":59},"00f49f9b-f75c-4775-a61f-41fd61a92ed3",{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405},"1d084a65-02b3-4ee1-be0d-9806be223ab2","de/ressourcen/e-books/statistik-e-book-und-basic-wissen-fuer-a-b-testing","Download: Statistik E-Book Bundle",{"_uid":408,"link":409,"text":412,"component":59},"e0422140-94e7-4dd8-87f7-a0f752dd712d",{"id":410,"url":30,"linktype":31,"fieldtype":32,"cached_url":411},"c8996f10-09f1-4543-874b-158275456f9b","de/ressourcen/e-books/personalisierung-mit-dem-4-stufen-modell","Download: E-Book Personalisierung",{"_uid":414,"link":415,"text":418,"component":59},"de7271fe-965f-418b-8d42-31b78f962e1d",{"id":416,"url":30,"linktype":31,"fieldtype":32,"cached_url":417},"58333d89-01c3-4cac-863e-e7cbc02a08bc","de/ressourcen/frameworks/wdw-hypothesen-framework","Download: WDW Hypothesen Framework",{"_uid":420,"link":421,"text":424,"component":59},"be031ed2-c7f7-4c8b-8f58-6f87074f4dc0",{"id":422,"url":30,"linktype":31,"fieldtype":32,"cached_url":423},"3aa8f349-0361-45a7-a391-066df5c9e7ff","de/ressourcen/frameworks/roi-ab-testing-business-case-paket","Download: A/B Testing ROI Business Case Paket",{"_uid":426,"link":427,"text":430,"type":30,"component":59},"8d464b9b-86fe-4c09-b5ad-15f1746ab4a8",{"id":428,"url":30,"linktype":31,"fieldtype":32,"cached_url":429},"4e8a7b56-0857-4af1-9068-edc69349fb30","de/ressourcen/frameworks/hook-model-canvas","Framework: Hook Model Canvas","Know-how & Tools",{"_uid":433,"link":434,"links":441,"title":442,"component":189},"3a303c5d-3ef4-482e-b31d-02856c821947",{"id":435,"url":30,"linktype":31,"fieldtype":32,"cached_url":436,"story":437},"1e20ab74-88ab-4f66-b3a1-019d85e2ef84","de/blog/",{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436,"_stopResolving":81},"Overview",103884675285507,"blog",[],"Blog",{"_uid":444,"link":445,"links":448,"title":486,"component":189},"5e1fb531-7f55-4c8e-8b25-32fa43e7af94",{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},"d7112b89-d5ce-41d8-a369-293c8b86e98d","de/ueber-uns/wer-wir-sind",[449,453,463,469,474,480],{"_uid":450,"link":451,"text":452,"component":59},"95511c3e-0c54-4f6e-83bc-143e5ac943f2",{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},"Team: Wer wir sind",{"_uid":454,"link":455,"text":462,"component":59},"10e03a1d-860a-4a64-8997-f352cab5291c",{"id":456,"url":30,"linktype":31,"fieldtype":32,"cached_url":457,"story":458},"c20fc377-1157-4539-97d2-0ded113d1a69","de/ueber-uns/was-wir-tun",{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457,"_stopResolving":81},"Was wir tun",62047816851482,"was-wir-tun","Methoden: Was wir tun",{"_uid":464,"link":465,"text":468,"component":59},"cc8765bf-7f12-478b-81a7-29f508fc805a",{"id":466,"url":30,"linktype":31,"fieldtype":32,"cached_url":467},"b190ded2-7e87-4b67-83c9-8ad6625d5480","de/ueber-uns/unsere-kunden","Kunden: Für wen arbeiten wir",{"_uid":470,"link":471,"text":473,"component":59},"47e8279b-16f2-4f6b-8cd3-bd9407369bba",{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":472},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},"Karriere & Jobs",{"_uid":475,"link":476,"text":479,"component":59},"85eb0d40-5379-4f62-a6a8-6cbbbcf27dd9",{"id":477,"url":30,"linktype":31,"fieldtype":32,"cached_url":478},"e5cc2d5c-06b8-4487-941c-0e463c3e4f0b","de/ueber-uns/team-first","Unsere Kultur: Team first",{"_uid":481,"link":482,"text":485,"component":59},"e8111c32-8191-4211-b40d-073b5afdf12f",{"id":483,"url":30,"linktype":31,"fieldtype":32,"cached_url":484},"31befb84-87a7-4c51-9028-092a1a69f015","de/grow-model","G.R.O.W. Model - Reifegrad Assessment","Über uns",[488],{"_uid":489,"icon":30,"link":490,"text":71,"intent":35,"component":36,"icon_position":37},"1b18d9f0-85af-48f2-a038-6a823d74dbff",{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},"core-header","header","de/_settings/header",0,[],"c1fc9f92-e520-41db-8395-ac2606e318d5","2025-05-05T09:35:20.471Z",[],"singleton-settings","Mehr lesen",[502],{"_uid":503,"head":504,"cards":519,"theme":124,"alignment":44,"component":667,"cards_per_row":668,"icon_position":669,"action_buttons":670,"bordered_cards":81},"3aaa4f32-19e8-41b0-aa02-03b4360405e7",[505],{"_uid":506,"kicker":30,"headline":507,"component":514,"subheadline":515,"show_top_line":81,"action_buttons":518},"67897cc1-c782-48fd-b6a9-3f48dfa972c1",{"type":39,"content":508},[509],{"type":42,"content":510},[511],{"text":512,"type":513},"Danach suchten andere Besucher","text","item-head",{"type":39,"content":516},[517],{"type":42},[],[520,549,575,597,621,644],{"tag":30,"_uid":521,"icon":522,"text":528,"image":534,"button":536,"headline":543,"component":548},"509dd04a-ac3a-4842-b787-c99d7bbe614b",{"id":523,"alt":524,"name":30,"focus":30,"title":525,"source":30,"filename":526,"copyright":30,"fieldtype":49,"meta_data":527,"is_external_url":51},23160806,"Halbkreis mit Tachonadel im rechten Bereich","Performance","https://a.storyblok.com/f/328018/150x150/d47b48585b/performance-heller-bg.svg",{"alt":524,"title":525,"source":30,"copyright":30},{"type":39,"content":529},[530],{"type":42,"content":531},[532],{"text":533,"type":513},"Mit dem Konfidenzrechner von konversionsKRAFT hast du die Möglichkeit, die Ergebnisse deines A/B-Tests auf signifikante Unterschiede zu untersuchen.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":535},{},[537],{"_uid":538,"icon":27,"link":539,"text":546,"intent":547,"component":36,"icon_position":37},"942eaebc-4d2f-49f1-818a-64913826a082",{"id":540,"url":30,"linktype":31,"fieldtype":32,"cached_url":541,"story":542},"20da88c1-38f8-46fb-8efb-99c7e3edaf41","de/tools/konfidenzrechner",{"name":543,"id":544,"uuid":540,"slug":545,"url":541,"full_slug":541,"_stopResolving":81},"Konfidenzrechner",62131923697584,"konfidenzrechner","Zum Tool","tertiary","section-features__card",{"tag":30,"_uid":550,"icon":551,"text":557,"image":563,"button":565,"headline":572,"component":548},"f5939252-f8ef-4fa9-a412-d80045de2c3a",{"id":552,"alt":553,"name":30,"focus":30,"title":554,"source":30,"filename":555,"copyright":30,"fieldtype":49,"meta_data":556,"is_external_url":51},23160824,"Stilisierte Uhr mit weißen Zeigern auf 12 und 3 Uhr, umgeben von einem schwarzen, gegen den Uhrzeigersinn gezeichneten Pfeilkreis","Rückblick","https://a.storyblok.com/f/328018/150x150/25b4408792/uhr-rueckblick-heller-bg.svg",{"alt":553,"title":554,"source":30,"copyright":30},{"type":39,"content":558},[559],{"type":42,"content":560},[561],{"text":562,"type":513},"Der Testlaufzeitrechner hilft dir, deine Uplifts sicher nachzuweisen und eine bessere Einschätzung für den nachweisbaren Effekt vornehmen zu können.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":564},{},[566],{"_uid":567,"icon":27,"link":568,"text":546,"intent":547,"component":36,"icon_position":37},"903598b6-6a79-4e7c-a44e-7ad9b3f1b2ab",{"id":569,"url":30,"linktype":31,"fieldtype":32,"cached_url":570,"story":571},"5c12fee4-da27-4b84-9e21-125e542f2261","de/tools/testlaufzeitrechner",{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570,"_stopResolving":81},"Testlaufzeitrechner",62134457203508,"testlaufzeitrechner",{"tag":30,"_uid":576,"icon":577,"text":583,"image":589,"button":591,"headline":355,"component":548},"3f45584f-e296-4c4c-aeb2-74fb602c25cc",{"id":578,"alt":579,"name":30,"focus":30,"title":580,"source":30,"filename":581,"copyright":30,"fieldtype":49,"meta_data":582,"is_external_url":51},23160767,"Icon mit Person einem Notebook und Smartphone","Customer Journey","https://a.storyblok.com/f/328018/150x150/ea7a1982ed/customer-journey-heller-bg.svg",{"alt":579,"title":580,"source":30,"copyright":30},{"type":39,"content":584},[585],{"type":42,"content":586},[587],{"text":588,"type":513},"Unsere Webinare richten sich an alle, die mehr wollen – mehr Uplift, mehr ROI, mehr Wachstum. Unsere Experten und Gastreferenten vermitteln in den Web-Seminaren wichtiges Optimiererwissen.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":590},{},[592],{"_uid":593,"icon":27,"link":594,"text":596,"intent":547,"component":36,"icon_position":37},"eec7fdfe-219e-4996-b99e-645675c27ea8",{"id":349,"url":30,"linktype":31,"fieldtype":32,"cached_url":350,"story":595},{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350,"_stopResolving":81},"Zur Übersicht",{"tag":30,"_uid":598,"icon":599,"text":605,"image":612,"button":614,"headline":620,"component":548},"d70a1587-7a51-414c-aa40-fa4419ea02b7",{"id":600,"alt":601,"name":30,"focus":30,"title":602,"source":30,"filename":603,"copyright":30,"fieldtype":49,"meta_data":604,"is_external_url":51},23160771,"Symbol eines Bachelor Huts für Bildung","Bachelor Hut","https://a.storyblok.com/f/328018/150x150/35fc1a0701/diplom-bachelor-heller-bg.svg",{"alt":601,"title":602,"source":30,"copyright":30},{"type":39,"content":606},[607],{"type":42,"attrs":608,"content":609},{"textAlign":118},[610],{"text":611,"type":513},"Profitiere von der langjährigen Erfahrung unserer Consultants, Analysten, UX Designern und Konsumpsychologen und erlange neues Know-how für deinen Alltag.",{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":613},{},[615],{"_uid":616,"icon":27,"link":617,"text":619,"intent":547,"component":36,"icon_position":37},"c320c7a7-6ad7-4ab7-8cbd-98b5dbe6fa38",{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":618},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},"Zur Weiterbildung","Weiterbildung",{"tag":30,"_uid":622,"icon":623,"text":629,"image":636,"button":638,"headline":459,"component":548},"cd63af88-8220-48f4-b392-1f5eabcb2d3c",{"id":624,"alt":625,"name":30,"focus":30,"title":626,"source":30,"filename":627,"copyright":30,"fieldtype":49,"meta_data":628,"is_external_url":51},23160799,"Drei Personen nebeneinander mit jeweils einem Stern darunter","Kundenbedürfnis verstehen","https://a.storyblok.com/f/328018/150x150/02138a981e/kundenbeduerfnis-verstehen-heller-bg.svg",{"alt":625,"title":626,"source":30,"copyright":30},{"type":39,"content":630},[631,635],{"type":42,"content":632},[633],{"text":634,"type":513},"Wir erschließen schnell und systematisch existierende digitale Wachstumspotenziale. Agil, kundenzentriert und datenbasiert.",{"type":42},{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":637},{},[639],{"_uid":640,"icon":27,"link":641,"text":643,"intent":547,"component":36,"icon_position":37},"e7f68e81-f9b0-4fb4-810b-224498e148b2",{"id":456,"url":30,"linktype":31,"fieldtype":32,"cached_url":457,"story":642},{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457,"_stopResolving":81},"Mehr erfahren",{"tag":30,"_uid":645,"icon":646,"text":652,"image":659,"button":661,"headline":78,"component":548},"cf571a54-a871-40ed-b3da-a8f7bc23fdf4",{"id":647,"alt":648,"name":30,"focus":30,"title":649,"source":30,"filename":650,"copyright":30,"fieldtype":49,"meta_data":651,"is_external_url":51},23160774,"Ein skizzierter Diamant der funkelt","Diamant","https://a.storyblok.com/f/328018/150x150/67d557c518/diamant-heller-bg.svg",{"alt":648,"title":649,"source":30,"copyright":30},{"type":39,"content":653},[654,658],{"type":42,"content":655},[656],{"text":657,"type":513},"Bist du bereit, deine Karriere bei uns zu starten?",{"type":42},{"id":118,"alt":118,"name":30,"focus":118,"title":118,"source":118,"filename":30,"copyright":118,"fieldtype":49,"meta_data":660},{},[662],{"_uid":663,"icon":27,"link":664,"text":666,"intent":547,"component":36,"icon_position":37},"4b0f8e8b-cfbd-4bad-99ba-ed5635cc99ae",{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":665},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},"Vakanzen","section-features-1","3","top",[],[672],{"_uid":673,"kicker":30,"headline":674,"component":514,"subheadline":680,"show_top_line":51,"action_buttons":686},"31cce379-ea89-4fdf-84f8-52e990bcf402",{"type":39,"content":675},[676],{"type":42,"content":677},[678],{"text":679,"type":513},"Hoppla!",{"type":39,"content":681},[682],{"type":42,"content":683},[684],{"text":685,"type":513},"Die angeforderte Seite konnte leider nicht gefunden werden.",[],[688],{"_uid":689,"type":30,"kicker":30,"headline":690,"component":514,"subheadline":697,"show_top_line":51,"action_buttons":700},"3ffbe671-41cf-400a-980c-6dbe14b6ce6f",{"type":39,"content":691},[692],{"type":42,"attrs":693,"content":694},{"textAlign":118},[695],{"text":696,"type":513},"Über den Autor",{"type":39,"content":698},[699],{"type":42},[],[],[],"min Lesezeit",[705],{"_uid":706,"icon":27,"link":707,"text":500,"intent":35,"component":36,"icon_position":37},"bb239a64-a116-4d8f-9695-ffc1a5e260a3",{"id":435,"url":30,"linktype":31,"fieldtype":32,"cached_url":436,"story":708},{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436,"_stopResolving":81},"Verfasst von","Inhalt","Lesedauer","Minuten","_settings","de/_settings/",-40,[],"c1ba6ded-acb9-4c7e-8404-38e942bdfab9","2025-05-05T09:35:20.134Z",[],1791547703,[722,857],{"name":127,"created_at":7,"published_at":128,"updated_at":129,"id":130,"uuid":131,"content":723,"slug":492,"full_slug":493,"sort_by_date":118,"position":494,"tag_list":855,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":496,"first_published_at":497,"release_id":118,"lang":124,"path":118,"alternates":856,"default_full_slug":118,"translated_slugs":118},{"_uid":133,"link":724,"logo":725,"links":727,"buttons":852,"component":491},{"id":30,"url":135,"linktype":136,"fieldtype":32,"cached_url":135},{"id":138,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":139,"copyright":30,"fieldtype":49,"meta_data":726,"is_external_url":51},{},[728,745,764,781,831,835],{"_uid":143,"link":729,"links":730,"title":188,"component":189},{"id":145,"url":30,"linktype":31,"fieldtype":32,"cached_url":146},[731,733,735,737,739,741,743],{"_uid":149,"link":732,"text":58,"component":59},{"id":151,"url":30,"linktype":31,"fieldtype":32,"cached_url":152},{"_uid":154,"link":734,"text":65,"component":59},{"id":156,"url":30,"linktype":31,"fieldtype":32,"cached_url":157},{"_uid":159,"link":736,"text":163,"component":59},{"id":161,"url":30,"linktype":31,"fieldtype":32,"cached_url":162},{"_uid":165,"link":738,"text":169,"component":59},{"id":167,"url":30,"linktype":31,"fieldtype":32,"cached_url":168},{"_uid":171,"link":740,"text":175,"component":59},{"id":173,"url":30,"linktype":31,"fieldtype":32,"cached_url":174},{"_uid":177,"link":742,"text":181,"component":59},{"id":179,"url":30,"linktype":31,"fieldtype":32,"cached_url":180},{"_uid":183,"link":744,"text":187,"component":59},{"id":185,"url":30,"linktype":31,"fieldtype":32,"cached_url":186},{"_uid":191,"link":746,"links":747,"title":243,"component":189},{"id":193,"url":30,"linktype":31,"fieldtype":32,"cached_url":194},[748,750,752,754,756,758,760,762],{"_uid":197,"link":749,"text":201,"component":59},{"id":199,"url":30,"linktype":31,"fieldtype":32,"cached_url":200},{"_uid":203,"link":751,"text":207,"component":59},{"id":205,"url":30,"linktype":31,"fieldtype":32,"cached_url":206},{"_uid":209,"link":753,"text":212,"component":59},{"id":30,"url":211,"linktype":136,"fieldtype":32,"cached_url":211},{"_uid":214,"link":755,"text":218,"component":59},{"id":216,"url":30,"linktype":31,"fieldtype":32,"cached_url":217},{"_uid":220,"link":757,"text":224,"component":59},{"id":222,"url":30,"linktype":31,"fieldtype":32,"cached_url":223},{"_uid":226,"link":759,"text":230,"component":59},{"id":228,"url":30,"linktype":31,"fieldtype":32,"cached_url":229},{"_uid":232,"link":761,"text":236,"component":59},{"id":234,"url":30,"linktype":31,"fieldtype":32,"cached_url":235},{"_uid":238,"link":763,"text":242,"component":59},{"id":240,"url":30,"linktype":31,"fieldtype":32,"cached_url":241},{"_uid":245,"link":765,"links":766,"title":292,"component":189},{"id":247,"url":30,"linktype":31,"fieldtype":32,"cached_url":248},[767,769,771,773,775,777,779],{"_uid":251,"link":768,"text":255,"component":59},{"id":253,"url":30,"linktype":31,"fieldtype":32,"cached_url":254},{"_uid":257,"link":770,"text":261,"component":59},{"id":259,"url":30,"linktype":31,"fieldtype":32,"cached_url":260},{"_uid":263,"link":772,"text":267,"component":59},{"id":265,"url":30,"linktype":31,"fieldtype":32,"cached_url":266},{"_uid":269,"link":774,"text":273,"component":59},{"id":271,"url":30,"linktype":31,"fieldtype":32,"cached_url":272},{"_uid":275,"link":776,"text":279,"component":59},{"id":277,"url":30,"linktype":31,"fieldtype":32,"cached_url":278},{"_uid":281,"link":778,"text":285,"component":59},{"id":283,"url":30,"linktype":31,"fieldtype":32,"cached_url":284},{"_uid":287,"link":780,"text":291,"component":59},{"id":289,"url":30,"linktype":31,"fieldtype":32,"cached_url":290},{"_uid":294,"link":782,"links":783,"title":431,"component":189},{"id":296,"url":30,"linktype":31,"fieldtype":32,"cached_url":297},[784,786,788,790,792,794,797,799,802,805,807,809,811,813,815,817,819,821,823,825,827,829],{"_uid":300,"link":785,"text":302,"component":59},{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},{"_uid":304,"link":787,"text":308,"component":59},{"id":306,"url":30,"linktype":31,"fieldtype":32,"cached_url":307},{"_uid":310,"link":789,"text":314,"component":59},{"id":312,"url":30,"linktype":31,"fieldtype":32,"cached_url":313},{"_uid":316,"link":791,"text":320,"component":59},{"id":318,"url":30,"linktype":31,"fieldtype":32,"cached_url":319},{"_uid":322,"link":793,"text":324,"component":59},{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},{"_uid":326,"link":795,"text":334,"component":59},{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":796},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},{"_uid":336,"link":798,"text":340,"component":59},{"id":338,"url":30,"linktype":31,"fieldtype":32,"cached_url":339},{"_uid":342,"link":800,"text":345,"component":59},{"id":328,"url":30,"linktype":31,"fieldtype":32,"cached_url":329,"story":801},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329,"_stopResolving":81},{"_uid":347,"link":803,"text":355,"component":59},{"id":349,"url":30,"linktype":31,"fieldtype":32,"cached_url":350,"story":804},{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350,"_stopResolving":81},{"_uid":357,"link":806,"text":361,"component":59},{"id":359,"url":30,"linktype":31,"fieldtype":32,"cached_url":360},{"_uid":363,"link":808,"text":367,"component":59},{"id":365,"url":30,"linktype":31,"fieldtype":32,"cached_url":366},{"_uid":369,"link":810,"text":373,"component":59},{"id":371,"url":30,"linktype":31,"fieldtype":32,"cached_url":372},{"_uid":375,"link":812,"text":379,"component":59},{"id":377,"url":30,"linktype":31,"fieldtype":32,"cached_url":378},{"_uid":381,"link":814,"text":385,"component":59},{"id":383,"url":30,"linktype":31,"fieldtype":32,"cached_url":384},{"_uid":387,"link":816,"text":391,"component":59},{"id":389,"url":30,"linktype":31,"fieldtype":32,"cached_url":390},{"_uid":393,"link":818,"text":395,"component":59},{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},{"_uid":397,"link":820,"text":400,"component":59},{"id":30,"url":399,"linktype":136,"fieldtype":32,"cached_url":399},{"_uid":402,"link":822,"text":406,"component":59},{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405},{"_uid":408,"link":824,"text":412,"component":59},{"id":410,"url":30,"linktype":31,"fieldtype":32,"cached_url":411},{"_uid":414,"link":826,"text":418,"component":59},{"id":416,"url":30,"linktype":31,"fieldtype":32,"cached_url":417},{"_uid":420,"link":828,"text":424,"component":59},{"id":422,"url":30,"linktype":31,"fieldtype":32,"cached_url":423},{"_uid":426,"link":830,"text":430,"type":30,"component":59},{"id":428,"url":30,"linktype":31,"fieldtype":32,"cached_url":429},{"_uid":433,"link":832,"links":834,"title":442,"component":189},{"id":435,"url":30,"linktype":31,"fieldtype":32,"cached_url":436,"story":833},{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436,"_stopResolving":81},[],{"_uid":444,"link":836,"links":837,"title":486,"component":189},{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},[838,840,843,845,848,850],{"_uid":450,"link":839,"text":452,"component":59},{"id":446,"url":30,"linktype":31,"fieldtype":32,"cached_url":447},{"_uid":454,"link":841,"text":462,"component":59},{"id":456,"url":30,"linktype":31,"fieldtype":32,"cached_url":457,"story":842},{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457,"_stopResolving":81},{"_uid":464,"link":844,"text":468,"component":59},{"id":466,"url":30,"linktype":31,"fieldtype":32,"cached_url":467},{"_uid":470,"link":846,"text":473,"component":59},{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":847},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},{"_uid":475,"link":849,"text":479,"component":59},{"id":477,"url":30,"linktype":31,"fieldtype":32,"cached_url":478},{"_uid":481,"link":851,"text":485,"component":59},{"id":483,"url":30,"linktype":31,"fieldtype":32,"cached_url":484},[853],{"_uid":489,"icon":30,"link":854,"text":71,"intent":35,"component":36,"icon_position":37},{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},[],[],{"name":15,"created_at":7,"published_at":16,"updated_at":17,"id":18,"uuid":19,"content":858,"slug":116,"full_slug":117,"sort_by_date":118,"position":119,"tag_list":891,"is_startpage":51,"parent_id":121,"meta_data":118,"group_id":122,"first_published_at":123,"release_id":118,"lang":124,"path":118,"alternates":892,"default_full_slug":118,"translated_slugs":118},{"cta":859,"_uid":45,"logo":867,"links":869,"component":82,"copyright":83,"logo_link":879,"legal_links":880},[860],{"_uid":23,"buttons":861,"caption":864,"component":43,"caption_position":44},[862],{"_uid":26,"icon":27,"link":863,"text":34,"intent":35,"component":36,"icon_position":37},{"id":29,"url":30,"linktype":31,"fieldtype":32,"cached_url":33},{"type":39,"content":865},[866],{"type":42},{"id":47,"alt":30,"name":30,"focus":30,"title":30,"source":30,"filename":48,"copyright":30,"fieldtype":49,"meta_data":868,"is_external_url":51},{},[870,872,874,876],{"_uid":54,"link":871,"text":58,"component":59},{"id":56,"url":30,"linktype":31,"fieldtype":32,"cached_url":57},{"_uid":61,"link":873,"text":65,"type":30,"component":59},{"id":63,"url":30,"linktype":31,"fieldtype":32,"cached_url":64},{"_uid":67,"link":875,"text":71,"component":59},{"id":69,"url":30,"linktype":31,"fieldtype":32,"cached_url":70},{"_uid":73,"link":877,"text":78,"component":59},{"id":75,"url":30,"linktype":31,"fieldtype":32,"cached_url":76,"story":878},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76,"_stopResolving":81},{"id":85,"url":30,"linktype":31,"fieldtype":32,"cached_url":86},[881,883,885,887,889],{"_uid":89,"link":882,"text":93,"component":59},{"id":91,"url":30,"linktype":31,"fieldtype":32,"cached_url":92},{"_uid":95,"link":884,"text":99,"component":59},{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},{"_uid":101,"link":886,"text":105,"component":59},{"id":103,"url":30,"linktype":31,"fieldtype":32,"cached_url":104},{"_uid":107,"link":888,"text":111,"component":59},{"id":109,"url":30,"linktype":31,"fieldtype":32,"cached_url":110},{"_uid":113,"link":890,"text":115,"component":59},{"id":97,"url":30,"linktype":31,"fieldtype":32,"cached_url":98},[],[],[894,895,896,897,898,899,900],{"name":438,"id":439,"uuid":435,"slug":440,"url":436,"full_slug":436},{"name":543,"id":544,"uuid":540,"slug":545,"url":541,"full_slug":541},{"name":352,"id":353,"uuid":349,"slug":354,"url":350,"full_slug":350},{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570},{"name":459,"id":460,"uuid":456,"slug":461,"url":457,"full_slug":457},{"name":78,"id":79,"uuid":75,"slug":80,"url":76,"full_slug":76},{"name":331,"id":332,"uuid":328,"slug":333,"url":329,"full_slug":329},{"story":902,"cv":720,"rels":1791,"links":1824},{"name":903,"created_at":904,"published_at":905,"updated_at":906,"id":907,"uuid":908,"content":909,"slug":1778,"full_slug":1779,"sort_by_date":118,"position":1784,"tag_list":1785,"is_startpage":51,"parent_id":1787,"meta_data":118,"group_id":1788,"first_published_at":1789,"release_id":118,"lang":124,"path":118,"alternates":1790,"default_full_slug":118,"translated_slugs":118},"Weshalb Du Deinem Testing Tool nicht blind vertrauen solltest","2025-10-15T16:18:29.256Z","2026-10-04T09:56:22.402Z","2026-10-04T09:56:23.091Z",101808165945755,"eb30176b-8d67-4d84-963c-e7a4521c1e42",{"seo":910,"_uid":913,"body":914,"text":912,"image":1659,"footer":30,"header":30,"authors":1662,"category":1700,"headline":903,"component":1701,"categories":1702,"bottom_head":1758,"breadcrumbs":1759,"seo_noindex":51,"sidebar_cta":1780,"reading_time":1781,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":1782,"additional_slot":1783,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":903,"plugin":911,"og_image":30,"og_title":903,"description":912,"twitter_image":30,"twitter_title":903,"og_description":912,"twitter_description":912},"seo_metatags","Testing Tools werden immer intelligenter. Doch werden statistische Fehler korrigiert? Wir klären Dich über Multivariate Tests und das Simpson Paradoxon auf.","3aa7b0b1-8358-4720-847d-5c128ecd18f1",[915],{"_uid":916,"text":917,"component":1658},"707f2006-a690-405b-a2b5-f4bfe9654983",{"type":39,"content":918},[919,924,932,939,944,949,957,965,970,977,982,989,994,1003,1010,1024,1035,1046,1057,1071,1079,1084,1131,1138,1143,1148,1155,1160,1208,1213,1218,1241,1246,1251,1256,1264,1269,1276,1281,1286,1293,1298,1305,1310,1319,1326,1337,1342,1353,1360,1365,1370,1381,1386,1393,1398,1419,1424,1464,1471,1476,1481,1486,1497,1502,1518,1525,1534,1539,1544,1549,1556,1561,1566,1578,1596,1603,1608,1613,1618,1623,1628,1633,1638,1643,1648,1653],{"type":42,"attrs":920,"content":921},{"textAlign":118},[922],{"text":923,"type":513},"Vertraust Du Deinem Tool? Setzt Du alle Gewinner direkt um, ohne das Testergebnis zu hinterfragen? Testing Tools sind unverzichtbar, doch sie haben ihre Grenzen. Wir zeigen Dir, wann Du einen tieferen Blick in die Testergebnisse werfen solltest, damit Du keine Fehlentscheidungen triffst, die Dich viel Geld kosten können.",{"type":42,"attrs":925,"content":926},{"textAlign":118},[927],{"type":928,"attrs":929},"image",{"id":118,"alt":118,"src":930,"title":118,"source":30,"copyright":30,"meta_data":931},"https://storage.googleapis.com/kk-website-assets/7LNurZU0_Titelbild-Andre-1-610x250.jpg",{"alt":118,"title":118,"source":30,"copyright":30},{"type":933,"attrs":934,"content":936},"heading",{"level":935,"textAlign":118},2,[937],{"text":938,"type":513},"Ein Kochbuch macht Dich noch nicht zum Koch",{"type":42,"attrs":940,"content":941},{"textAlign":118},[942],{"text":943,"type":513},"Nur weil Du ein Kochbuch besitzt, bist Du noch lange kein Koch geschweige denn kocht sich das Essen von selbst. Genauso verhält es sich bei Testing Tools. Zwar übernehmen Tools komplizierte statistische Berechnungen Deiner Daten, doch als Conversion Optimierer musst Du die Ergebnisse auch verstehen und hinterfragen, um kein Risiko einzugehen.",{"type":42,"attrs":945,"content":946},{"textAlign":118},[947],{"text":948,"type":513},"Schon 1963 haben amerikanische Statistiker in der renommierten Fachzeitschrift “Psychological Review” im Artikel “Bayesian statistical inference for psychological research” gewarnt:",{"type":950,"content":951},"blockquote",[952],{"type":42,"attrs":953,"content":954},{"textAlign":118},[955],{"text":956,"type":513},"“As usual, a consumer need not understand in detail the distribution theory on which the methods are based; the manipulative mathematics are being done for him. Yet, like any other theory, distribution theory must be used with informed discretion. The consumer who delegates his thinking about the meaning of his data to any “powerful new tool” of course invites disaster. Cookbooks, though indispensable, cannot substitute for a thorough understanding of cooking.”",{"type":933,"attrs":958,"content":959},{"level":935,"textAlign":118},[960],{"text":961,"type":513,"marks":962},"Höher, schneller, weiter: Die neue Ära der Testing Tools",[963],{"type":964},"bold",{"type":42,"attrs":966,"content":967},{"textAlign":118},[968],{"text":969,"type":513},"Genauso ist es bei Testing Tools. Sie werden immer intelligenter und schneller und übernehmen unsere Entscheidungen. Sie setzen zum Teil bereits heute Multi-Armed Bandit Algorithmen (Teil des Machine Learnings) ein, um den Traffic intelligent zwischen den Varianten zu verteilen. Signifikante Testergebnisse sollen hierdurch um bis zu 300% schneller erreichbar sein.",{"type":933,"attrs":971,"content":972},{"level":935,"textAlign":118},[973],{"text":974,"type":513,"marks":975},"Fehler verbrennen Geld",[976],{"type":964},{"type":42,"attrs":978,"content":979},{"textAlign":118},[980],{"text":981,"type":513},"Die Zeitersparnis ist eine super Sache. Doch wenn statistisch nicht sauber gearbeitet wird, dann steigt mit der hohen Frequenz gleichzeitig das Risiko, einen Gewinner zu finden, der gar keiner ist. Wird der vermeintliche Gewinner ausgerollt oder andersherum ein Gewinner nicht als solcher erkannt und verworfen, dann verbrennt man Geld.",{"type":933,"attrs":983,"content":984},{"level":935,"textAlign":118},[985],{"text":986,"type":513,"marks":987},"Sei schlauer als Dein Testing Tool",[988],{"type":964},{"type":42,"attrs":990,"content":991},{"textAlign":118},[992],{"text":993,"type":513},"Bei der Durchführung Deiner Tests solltest Du sichergehen, dass Dein Tool einige statistische Korrekturen automatisch vornimmt. Sollte Dein Tool diese Korrekturen nicht anbieten, dann liegt es an Dir, die Ergebnisse kritisch zu prüfen oder Dir Expertenrat einzuholen. Natürlich bedeutet das mehr Arbeit. Doch Du reduzierst hierdurch das Risiko eines Fehlschlags.",{"type":42,"attrs":995,"content":996},{"textAlign":118},[997,1001],{"text":998,"type":513,"marks":999},"Das Simpson Paradoxon und die Alpha-Fehler Kumulierung",[1000],{"type":964},{"text":1002,"type":513}," sind zwei Phänomene, die beim Testing leicht auftreten und die Validität Deiner Ergebnisse gefährden. Wir erklären Dir, worauf Du achten musst, damit Du nicht mit Deinem Test an die Wand fährst:",{"type":933,"attrs":1004,"content":1005},{"level":935,"textAlign":118},[1006],{"text":1007,"type":513,"marks":1008},"Das Simpson Paradoxon",[1009],{"type":964},{"type":42,"attrs":1011,"content":1012},{"textAlign":118},[1013,1015,1022],{"text":1014,"type":513},"Wusstest Du, dass ein Sieger für einen Gesamtdatensatz zum Verlierer werden kann, wenn man sich die Segmente ansieht? Genau dieses Phänomen beschreibt das ",{"text":1016,"type":513,"marks":1017},"Simpson Paradoxon",[1018],{"type":1019,"attrs":1020},"link",{"href":1021,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Simpson-Paradoxon",{"text":1023,"type":513},". Zur Erklärung haben wir eine einfache Beispielrechnung konstruiert:",{"type":42,"attrs":1025,"content":1026},{"textAlign":118},[1027],{"type":928,"attrs":1028,"marks":1031},{"id":118,"alt":118,"src":1029,"title":118,"source":30,"copyright":30,"meta_data":1030},"https://storage.googleapis.com/kk-website-assets/BO2pbKgh_Simpsons-Paradoxon-1-610x174.png",{"alt":118,"title":118,"source":30,"copyright":30},[1032],{"type":1019,"attrs":1033},{"href":1034,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/wp-content/uploads/2017/11/Simpsons-Paradoxon-1.png",{"type":42,"attrs":1036,"content":1037},{"textAlign":118},[1038,1040,1044],{"text":1039,"type":513},"Die Auswertung für den ",{"text":1041,"type":513,"marks":1042},"Gesamt-Traffic",[1043],{"type":964},{"text":1045,"type":513}," ergibt, dass Variante 1 bei einem zweiseitigen Hypothesentest (Konfidenzniveau 95%; Test-Stärke >80%) ein statistisch signifikanter Sieger (grün) ist.",{"type":42,"attrs":1047,"content":1048},{"textAlign":118},[1049,1051,1055],{"text":1050,"type":513},"Eine nachträgliche ",{"text":1052,"type":513,"marks":1053},"Segmentierung nach Gerätetyp",[1054],{"type":964},{"text":1056,"type":513}," (Desktop, Mobile, Tablet) zeigt aber, dass Variante 1 für alle Gerätetypen einzeln schlechter abschneidet. Für Desktop und Mobile ist die Verschlechterung sogar statistisch signifikant (rot).",{"type":42,"attrs":1058,"content":1059},{"textAlign":118},[1060,1062,1069],{"text":1061,"type":513},"Das Simpson Paradoxon beschreibt einen der am häufigsten übersehenen Fehler beim A/B-Testing (Welche andere Fehler gemacht werden können, kannst Du ",{"text":1063,"type":513,"marks":1064},"in diesem LinkedIn Post",[1065],{"type":1019,"attrs":1066},{"href":1067,"uuid":118,"anchor":118,"target":1068,"linktype":136},"https://www.linkedin.com/posts/manross_%F0%9D%97%9C%F0%9D%97%B1%F0%9D%97%B2%F0%9D%97%AE-%F0%9D%9F%AD%F0%9D%9F%AC-%F0%9D%97%A6%F0%9D%97%B6%F0%9D%97%BA%F0%9D%97%BD%F0%9D%98%80%F0%9D%97%BC%F0%9D%97%BB%F0%9D%98%80-%F0%9D%97%A3%F0%9D%97%AE%F0%9D%97%BF-activity-7345173361246846976-8m2i?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAfUiIUBV5toB9rxWr2dtzklQLaX6rKdZT0","_self",{"text":1070,"type":513}," von Ron Kohavi, CRO Experte bei Microsoft nachlesen). Wenn man sich die Daten anschaut, dann stellt sich sofort die Frage: “Welchen Zahlen soll ich in dieser Situation glauben? Dem Ergebnis für den Gesamt-Traffic oder dem für die einzelnen Segmente?” Wir schauen es uns genauer an…",{"type":933,"attrs":1072,"content":1074},{"level":1073,"textAlign":118},3,[1075],{"text":1076,"type":513,"marks":1077},"Wodurch wird das Phänomen in der Tabelle verursacht?",[1078],{"type":964},{"type":42,"attrs":1080,"content":1081},{"textAlign":118},[1082],{"text":1083,"type":513},"Wenn man die Aufteilung der Anzahl der Visitor zwischen Control und Variante 1 für den Gesamt-Traffic und die einzelnen Segmente betrachtet, fallen deutliche Unterschiede auf:",{"type":1085,"content":1086},"bullet_list",[1087,1095,1102,1109,1120],{"type":1088,"content":1089},"list_item",[1090],{"type":42,"attrs":1091,"content":1092},{"textAlign":118},[1093],{"text":1094,"type":513},"Für den Gesamt-Traffic ist die Aufteilung gleichmäßig 50/50.",{"type":1088,"content":1096},[1097],{"type":42,"attrs":1098,"content":1099},{"textAlign":118},[1100],{"text":1101,"type":513},"Für die einzelnen Segmente variiert die Aufteilung jedoch stark je nach Segment. Diese Schieflage sorgt dafür, dass die Gesamtauswertung unterschiedlich gewichtet verläuft:",{"type":1088,"content":1103},[1104],{"type":42,"attrs":1105,"content":1106},{"textAlign":118},[1107],{"text":1108,"type":513},"Die Conversion Rate für Desktop ist in diesem Beispiel deutlich höher als für Mobile.",{"type":1088,"content":1110},[1111],{"type":42,"attrs":1112,"content":1113},{"textAlign":118},[1114,1118],{"text":1115,"type":513,"marks":1116},"Segment Desktop:",[1117],{"type":964},{"text":1119,"type":513}," Variante 1 enthält 3,5 mal mehr Desktop-Traffic als die Control. Diese Tatsache gibt Variante 1 eine stärkere Gewichtung in die Gewinner-Richtung für die Gesamtauswertung, da in Variante 1 dadurch insgesamt wesentlich mehr Conversions zustande kommen als in der Control (auch wenn Variante 1 in diesem Segment schlechter abschneidet als die Control).",{"type":1088,"content":1121},[1122],{"type":42,"attrs":1123,"content":1124},{"textAlign":118},[1125,1129],{"text":1126,"type":513,"marks":1127},"Segment Mobile:",[1128],{"type":964},{"text":1130,"type":513}," Variante 1 schneidet für Mobile signifikant schlechter ab als die Control. Dies fällt aber in der Gesamtauswertung durch den sehr kleinen Traffic-Anteil (3 Mal kleiner als die Control) nur geringfügig ins Gewicht. Das schlechte Abschneiden der Variante 1 wird dadurch in der Gesamtauswertung überschattet, dass die Control mit einem hohen Traffic-Anteil und gleichzeitig wenigen (verglichen mit Desktop) Conversions in die Gesamtauswertung einfließt.",{"type":933,"attrs":1132,"content":1133},{"level":1073,"textAlign":118},[1134],{"text":1135,"type":513,"marks":1136},"Wie umgehe ich das Simpson Paradoxon?",[1137],{"type":964},{"type":42,"attrs":1139,"content":1140},{"textAlign":118},[1141],{"text":1142,"type":513},"Die gute Nachricht ist, dass es Mittel gibt, das Simpson Paradoxon zu umgehen: Hierzu müssen die Visitor nicht nur für den Gesamt-Traffic gleichmäßig zufällig auf die Variante 1 und Control verteilt werden. Zusätzlich muss bei der zufälligen Ausspielung darauf geachtet werden, dass die Aufteilung homogen auch über bestimmte Dimensionen (in unserem Beispiel wäre dies der Gerätetyp) geschieht. Das Verfahren nennt man in der Fachwelt stratifizierte Zufallsstichprobe (stratified sampling).",{"type":42,"attrs":1144,"content":1145},{"textAlign":118},[1146],{"text":1147,"type":513},"Die schlechte Nachricht ist aber, dass so eine Funktionalität nach unserem besten Wissen von den meisten gängigen Testing Tools nicht angeboten wird. Hier musst Du also selber ran.",{"type":933,"attrs":1149,"content":1150},{"level":1073,"textAlign":118},[1151],{"text":1152,"type":513,"marks":1153},"Was soll ich tun, wenn das Simpson Paradoxon bei meinem A/B-Test eintritt?",[1154],{"type":964},{"type":42,"attrs":1156,"content":1157},{"textAlign":118},[1158],{"text":1159,"type":513},"Falsch wäre es, die V1 zum Gewinner zu ernennen. Das wäre eine Fehlentscheidung, denn sie ist es nicht. Stattdessen solltest Du wie folgt vorgehen:",{"type":1161,"attrs":1162,"content":1164},"ordered_list",{"order":1163},1,[1165,1172,1179,1186,1193],{"type":1088,"content":1166},[1167],{"type":42,"attrs":1168,"content":1169},{"textAlign":118},[1170],{"text":1171,"type":513},"Verknüpfe Dein Testing Tool mit Deinem Analytics Tool, um im Nachhinein Segmente zu analysieren. Testing Tools sind da recht eingeschränkt und machen Dir das Leben schwer.",{"type":1088,"content":1173},[1174],{"type":42,"attrs":1175,"content":1176},{"textAlign":118},[1177],{"text":1178,"type":513},"Erstelle in Deinem Analyse Tool Grafiken mit den Conversion Rates pro Segment. So kannst Du schnell sehen, ob das Paradoxon in Deinem Test aufgetreten ist.",{"type":1088,"content":1180},[1181],{"type":42,"attrs":1182,"content":1183},{"textAlign":118},[1184],{"text":1185,"type":513},"Wenn das Paradoxon aufgetreten ist, analysiere die einzelnen Segmente separat, und zwar nicht nur quantitativ (also aus Datensicht) sondern auch qualitativ. Das heißt: Betrachte das Konzept nochmals im Detail und überlege, weshalb es bei diesen Segmenten schlechter funktioniert hat. Meistens kannst Du auf diese Weise neue Optimierungsansätze finden.",{"type":1088,"content":1187},[1188],{"type":42,"attrs":1189,"content":1190},{"textAlign":118},[1191],{"text":1192,"type":513},"Auf Basis dieser Analyse solltest Du nun weitere Testkonzepte für die einzelnen Segmente entwickeln, um so gezielt für jedes Segment zu optimieren.",{"type":1088,"content":1194},[1195],{"type":42,"attrs":1196,"content":1197},{"textAlign":118},[1198,1200,1206],{"text":1199,"type":513},"Wenn Du auf die einzelnen Segmente optimierst, dann personalisierst Du eigentlich bereits. Aus diesem Grund – wie Analytics Guru Avinash Kaushik bereits betonte – ist die ",{"text":1201,"type":513,"marks":1202},"Analyse der Segmente",[1203],{"type":1019,"attrs":1204},{"href":1205,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.kaushik.net/avinash/excellent-analytics-tip2-segment-absolutely-everything/",{"text":1207,"type":513}," so wichtig. Wenn Du bei mehreren Tests merkst, dass das Simpson Paradoxon aufgetreten ist, solltest Du das als wichtigen Hinweis sehen, dass Du personalisieren musst.",{"type":933,"attrs":1209,"content":1210},{"level":935,"textAlign":118},[1211],{"text":1212,"type":513},"Multivariate Tests und Alpha-Fehler Kumulierung",{"type":42,"attrs":1214,"content":1215},{"textAlign":118},[1216],{"text":1217,"type":513},"Wenn Du auf einem Datensatz nicht nur eine Nullhypothese sondern mehrere Nullhypothesen gleichzeitig testest, taucht ein weiteres Problem auf: Das multiple Testproblem. Im Website-Testing liegt es dann vor,",{"type":1085,"content":1219},[1220,1227,1234],{"type":1088,"content":1221},[1222],{"type":42,"attrs":1223,"content":1224},{"textAlign":118},[1225],{"text":1226,"type":513},"wenn mehr als eine Variante gegen die Control getestet werden (A/B/n-Test oder MVT),",{"type":1088,"content":1228},[1229],{"type":42,"attrs":1230,"content":1231},{"textAlign":118},[1232],{"text":1233,"type":513},"wenn mehr als ein Goal in die Auswertung einbezogen wird, oder",{"type":1088,"content":1235},[1236],{"type":42,"attrs":1237,"content":1238},{"textAlign":118},[1239],{"text":1240,"type":513},"wenn die Auswertung für mehrere nachträglich definierte Segmente vorgenommen wird.",{"type":42,"attrs":1242,"content":1243},{"textAlign":118},[1244],{"text":1245,"type":513},"Hier kommt es zur sogenannten Alpha-Fehler Kumulierung. Und diese birgt ein großes Risiko…",{"type":933,"attrs":1247,"content":1248},{"level":1073,"textAlign":118},[1249],{"text":1250,"type":513},"Die Ergebnisse Multivariater Tests sind gefährlich",{"type":42,"attrs":1252,"content":1253},{"textAlign":118},[1254],{"text":1255,"type":513},"Die ersten sechs von über 90 Zeilen eines typischen MVT-Resultats zeigen fast immer nur Gewinner. Bei diesem MVT wird die Kombination in der dritten Zeile vom Testingtool zu 96% direkt als signifikantes Ergebnis “gefeiert”. 30% Mehr Umsatz mit nur einem Test – wer hätte das nicht gerne. Doch leider gaukelt uns das Testing Tool hier etwas vor – und das hat ganz einfache statistische Gründe.",{"type":42,"attrs":1257,"content":1258},{"textAlign":118},[1259],{"type":928,"attrs":1260},{"id":118,"alt":1261,"src":1262,"title":1261,"source":30,"copyright":30,"meta_data":1263},"multivariate tests","https://storage.googleapis.com/kk-website-assets/qL8Pdlhz_multivariater-test.png",{"alt":1261,"title":1261,"source":30,"copyright":30},{"type":42,"attrs":1265,"content":1266},{"textAlign":118},[1267],{"text":1268,"type":513},"Jeder, der schon einmal versucht hat, die Resultate eines Multivariaten Tests zu validieren, der stößt auf ein Problem: Es wird nicht klappen. Lassen sich Testergebnisse nicht innerhalb einer vertretbaren Toleranz reproduzieren, spricht man von fehlender Validität.",{"type":950,"content":1270},[1271],{"type":42,"attrs":1272,"content":1273},{"textAlign":118},[1274],{"text":1275,"type":513},"“Valide = wahr”",{"type":42,"attrs":1277,"content":1278},{"textAlign":118},[1279],{"text":1280,"type":513},"Anders gesagt: die Ergebnisse des Multivariaten Tests waren nicht wahr. Jedenfalls nicht so richtig. Oft machen die Ergebnisse auch gar keinen Sinn. Jeder, der im E-Commerce testet, kennt typische Uplifts und weiß, dass ein einfaches Vertauschen von Elementen selten überhaupt etwas bringt.",{"type":933,"attrs":1282,"content":1283},{"level":1073,"textAlign":118},[1284],{"text":1285,"type":513},"Multivariate Tests: Die Statistik-Illusion",{"type":950,"content":1287},[1288],{"type":42,"attrs":1289,"content":1290},{"textAlign":118},[1291],{"text":1292,"type":513},"“Wie kann so etwas passieren? Schließlich ist das Ergebnis doch statistisch signifikant. Warum also die Aufregung? Ich bin kein Statistik-Experte, aber dennoch habe ich verstanden, dass wir bei einem Test mit einem 95 prozentigen Konfidenzniveau akzeptieren, dass unsere “angebliche” Gewinnervariante mit 5% Wahrscheinlichkeit gar kein Gewinner ist.”",{"type":42,"attrs":1294,"content":1295},{"textAlign":118},[1296],{"text":1297,"type":513},"Marketer, Dienstleister und Tool-Anbieter sagen dann gerne:",{"type":950,"content":1299},[1300],{"type":42,"attrs":1301,"content":1302},{"textAlign":118},[1303],{"text":1304,"type":513},"“Wir machen Marketing und keine Herz-OP”",{"type":42,"attrs":1306,"content":1307},{"textAlign":118},[1308],{"text":1309,"type":513},"Das ist zwar pragmatisch und bis zu einem gewissen Bereich völlig OK.",{"type":42,"attrs":1311,"content":1312},{"textAlign":118},[1313,1317],{"text":1314,"type":513,"marks":1315},"Aber:",[1316],{"type":964},{"text":1318,"type":513}," Mit steigender Anzahl der Variationen multipliziert sich auch unser 5% Fehler in Multivariaten Tests. Hier sprechen wir von der Alpha-Fehler Kumulierung.",{"type":933,"attrs":1320,"content":1321},{"level":1073,"textAlign":118},[1322],{"text":1323,"type":513,"marks":1324},"Was ist die Alpha-Fehler Kumulierung?",[1325],{"type":964},{"type":42,"attrs":1327,"content":1328},{"textAlign":118},[1329,1331,1335],{"text":1330,"type":513},"Bei einem einfachen A/B-Test bestimmt das gesetzte ",{"text":1332,"type":513,"marks":1333},"Signifikanzniveau α (meist gesetzt auf 0.05 oder als Prozentzahl 5%)",[1334],{"type":964},{"text":1336,"type":513}," die Wahrscheinlichkeit dafür, dass ein signifikanter Unterschied zwischen der Control und der Variante festgestellt wird, obwohl der Unterschied rein durch einen Zufall entstanden ist. Bei einem A/B/n-Test oder einem MVT werden mehrere Varianten gegen die Control gleichzeitig getestet und zwar jeder für sich lokal mit dem gesetzten Signifikanzniveau alpha.",{"type":42,"attrs":1338,"content":1339},{"textAlign":118},[1340],{"text":1341,"type":513},"Global gesehen kommt es aber zu der so genannten Alpha-Fehler Kumulierung: Mit jeder zusätzlichen Variante steigt die Wahrscheinlichkeit, dass mindestens einer der deklarierten Sieger tatsächlich gar keiner ist.",{"type":42,"attrs":1343,"content":1344},{"textAlign":118},[1345,1347,1351],{"text":1346,"type":513},"Der ",{"text":1348,"type":513,"marks":1349},"kumulierte alpha-Wert α_{kum}",[1350],{"type":964},{"text":1352,"type":513}," wird wie folgt berechnet:",{"type":42,"attrs":1354,"content":1355},{"textAlign":118},[1356],{"type":928,"attrs":1357},{"id":118,"alt":118,"src":1358,"title":118,"source":30,"copyright":30,"meta_data":1359},"https://storage.googleapis.com/kk-website-assets/VfN2VqwG_Formel-Alpha-Fehler-1.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":42,"attrs":1361,"content":1362},{"textAlign":118},[1363],{"text":1364,"type":513},"Dabei ist alpha (α) das ursprüngliche Signifikanzniveau für die einzelnen Vergleiche und N die Anzahl der Varianten, die gegen die Control getestet werden.",{"type":42,"attrs":1366,"content":1367},{"textAlign":118},[1368],{"text":1369,"type":513},"In der Tabelle unten wird dargestellt, wie die kumulierte Alpha-Fehler-Wahrscheinlichkeit (für das Signifikanzniveau 5%) mit der wachsenden Varianten-Anzahl ansteigt.",{"type":42,"attrs":1371,"content":1372},{"textAlign":118},[1373],{"type":928,"attrs":1374,"marks":1377},{"id":118,"alt":118,"src":1375,"title":118,"source":30,"copyright":30,"meta_data":1376},"https://storage.googleapis.com/kk-website-assets/e_y3svOG_Tabelle-Alphafehler-1-610x66.png",{"alt":118,"title":118,"source":30,"copyright":30},[1378],{"type":1019,"attrs":1379},{"href":1380,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/wp-content/uploads/2017/11/Tabelle-Alphafehler-1.png",{"type":42,"attrs":1382,"content":1383},{"textAlign":118},[1384],{"text":1385,"type":513},"Besonders bei einem MVT kommt es schnell zu einer sehr großen Anzahl der Varianten. Zum Beispiel, erzeugt man für jeweils die Headline, das Hintergrundbild und den CTA-Button jeweils 3 Varianten, so entstehen 3 x 3 x 3 = 27 Varianten, die gegen die Control getestet werden müssen. In so einem Fall besteht eine knapp 75%-ige Wahrscheinlichkeit dafür, dass es mindestens zu einem „Falsch-Alarm“ kommt oder anders ausgedrückt, dass bei mindestens einer der Sieger-Varianten der signifikante Uplift rein zufällig entstanden ist.",{"type":950,"content":1387},[1388],{"type":42,"attrs":1389,"content":1390},{"textAlign":118},[1391],{"text":1392,"type":513},"Statistische Signifikanz ist nicht gleich Validität. Letzteres streben wir an. Die Signifikanz ist nur ein Zwischenschritt, sozusagen das Minimal-Ziel.",{"type":933,"attrs":1394,"content":1395},{"level":1073,"textAlign":118},[1396],{"text":1397,"type":513},"Wie vermeide / korrigiere ich den kumulierten Alpha-Fehler?",{"type":42,"attrs":1399,"content":1400},{"textAlign":118},[1401,1403,1409,1411,1417],{"text":1402,"type":513},"Es gibt diverse Ansätze, den kumulierten α-Wert zu korrigieren, z.B. das ",{"text":1404,"type":513,"marks":1405},"Bonferroni",[1406],{"type":1019,"attrs":1407},{"href":1408,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Bonferroni-Korrektur",{"text":1410,"type":513},"– oder das ",{"text":1412,"type":513,"marks":1413},"Šidák",[1414],{"type":1019,"attrs":1415},{"href":1416,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://en.wikipedia.org/wiki/%C5%A0id%C3%A1k_correction",{"text":1418,"type":513},"– Verfahren. Bei den meisten Korrektur-Verfahren wird das Signifikanzniveau α für die einzelnen Tests durch unterschiedliche Strategien nach unten korrigiert, so dass der kumulierte alpha-Wert das ursprünglich gewünschte Signifikanzniveau α nicht überschreitet.",{"type":42,"attrs":1420,"content":1421},{"textAlign":118},[1422],{"text":1423,"type":513},"Nutze MVTs nicht leichtsinnig. Solltest Du sie aber doch anwenden, z.B. um Kreuzeffekte zweier kontraindizierten Hypothesen zu messen, dann befolge diese Tipps:",{"type":1161,"attrs":1425,"content":1426},{"order":1163},[1427,1443,1450,1457],{"type":1088,"content":1428},[1429],{"type":42,"attrs":1430,"content":1431},{"textAlign":118},[1432,1434,1441],{"text":1433,"type":513},"Informiere Dich genau, ob Dein Testing Tool entsprechende Korrektur-Verfahren zur Vermeidung des kumulierten Alpha-Fehlers einsetzt. Falls nicht, dann solltest Du für die Korrektur selbst sorgen oder, falls es zu aufwendig erscheint, das Konfidenzniveau von 95% auf zumindest 99% oder 99,5% erhöhen. Dabei beachte, dass der Test in diesem Fall noch länger laufen muss, damit eine ausreichende Teststärke erreicht werden kann. Hier erfährst Du mehr zur ",{"text":1435,"type":513,"marks":1436},"Testlaufzeit-Berechnung",[1437],{"type":1019,"attrs":1438},{"href":1439,"uuid":569,"anchor":118,"target":1068,"linktype":31,"story":1440},"/de/tools/testlaufzeitrechner",{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570,"_stopResolving":81},{"text":1442,"type":513},".",{"type":1088,"content":1444},[1445],{"type":42,"attrs":1446,"content":1447},{"textAlign":118},[1448],{"text":1449,"type":513},"Reduziere die Anzahl der Kombinationen so gut es geht. Weniger Variationen haben einem geringeren Effekt auf den Fehler. Ein Test, der zwei oder drei Hypothesen und deren Kreuzeffekte misst, kommt meist mit 15 bis 30 Kombinationen aus.",{"type":1088,"content":1451},[1452],{"type":42,"attrs":1453,"content":1454},{"textAlign":118},[1455],{"text":1456,"type":513},"Validiere die Gewinnervariante im Idealfall nochmals im Anschluss über einen A/B-Test, wenn Du wirklich quantifizieren möchtest, wie groß der Einfluss der Veränderung wirklich ist. Sei nicht enttäuscht, wenn von dem einst so großen Uplift gar nicht mehr so viel übrig ist.",{"type":1088,"content":1458},[1459],{"type":42,"attrs":1460,"content":1461},{"textAlign":118},[1462],{"text":1463,"type":513},"Glaube nicht, Du hättest auf Basis der MVT-Resultate gerade 30% mehr Umsatz gemacht.",{"type":933,"attrs":1465,"content":1466},{"level":935,"textAlign":118},[1467],{"text":1468,"type":513,"marks":1469},"Risiken einer nachträglichen Segmentierung",[1470],{"type":964},{"type":42,"attrs":1472,"content":1473},{"textAlign":118},[1474],{"text":1475,"type":513},"Bei der nachträglichen Segmentierung (z.B. in Google Analytics oder direkt im Testing Tool) kann man wegen des Simpson Paradoxons auch bei einem unschlüssigen A/B-Test heimliche Gewinner finden.",{"type":42,"attrs":1477,"content":1478},{"textAlign":118},[1479],{"text":1480,"type":513},"In der Tabelle unten besagt die Auswertung für den Gesamt-Traffic, dass der leichte Uplift der Variante 1 leider nicht statistisch signifikant ist. Damit kann sie nicht als Sieger deklariert werden.",{"type":42,"attrs":1482,"content":1483},{"textAlign":118},[1484],{"text":1485,"type":513},"Wenn man aber den Gesamt-Traffic nach Desktop, Mobile und Tablet segmentiert und die Auswertung noch einmal durchführt, dann ist die Variante 1 in jedem einzelnen Segment statistisch signifikant besser.",{"type":42,"attrs":1487,"content":1488},{"textAlign":118},[1489],{"type":928,"attrs":1490,"marks":1493},{"id":118,"alt":118,"src":1491,"title":118,"source":30,"copyright":30,"meta_data":1492},"https://storage.googleapis.com/kk-website-assets/_1GBbAep_Simpsons-Paradoxon-2-1-610x178.png",{"alt":118,"title":118,"source":30,"copyright":30},[1494],{"type":1019,"attrs":1495},{"href":1496,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/wp-content/uploads/2017/11/Simpsons-Paradoxon-2-1.png",{"type":933,"attrs":1498,"content":1499},{"level":1073,"textAlign":118},[1500],{"text":1501,"type":513},"Was ist bei der nachträglichen Segmentierung zu beachten?",{"type":1085,"content":1503},[1504,1511],{"type":1088,"content":1505},[1506],{"type":42,"attrs":1507,"content":1508},{"textAlign":118},[1509],{"text":1510,"type":513},"Die untersuchten Segmente müssen groß genug sein, damit die statistische Validität überhaupt gewährleistet werden kann.",{"type":1088,"content":1512},[1513],{"type":42,"attrs":1514,"content":1515},{"textAlign":118},[1516],{"text":1517,"type":513},"Die Alpha-Fehler Kumulierung tritt nicht nur bei den MVTs ein, sondern auch bei Mehrfachvergleichen der segmentierten Daten. Hier gilt das Prinzip:",{"type":950,"content":1519},[1520],{"type":42,"attrs":1521,"content":1522},{"textAlign":118},[1523],{"text":1524,"type":513},"Wer nur lange genug sucht (d.h. viele Segmente bildet), der findet auch wahrscheinlich einen Gewinner. Nur die Wahrscheinlichkeit, dass es kein wahrer Gewinner ist, steigt mit jedem zusätzlich untersuchten Segment an.",{"type":1085,"content":1526},[1527],{"type":1088,"content":1528},[1529],{"type":42,"attrs":1530,"content":1531},{"textAlign":118},[1532],{"text":1533,"type":513},"Bei der Auswertung sollte man auch hier die oben erwähnten Korrektur-Verfahren einsetzen oder alternativ mit einem höheren Konfidenzniveau arbeiten. Für die beiden aufgeführten Beispiele des Paradoxons werden insgesamt also jeweils 4 Hypothesentests ausgewertet (Gesamt-Traffic und 3 Varianten). Dies heißt, dass die Wahrscheinlichkeit mindestens einen falschen signifikanten Sieger pro Beispiel zu deklarieren insgesamt auf 18,55% steigt, wenn mit dem nicht korrigierten Konfidenzniveau von 95% bei der Signifikanz-Entscheidung gearbeitet wird.",{"type":933,"attrs":1535,"content":1536},{"level":935,"textAlign":118},[1537],{"text":1538,"type":513},"Weshalb “schneller” nicht immer “besser” ist",{"type":42,"attrs":1540,"content":1541},{"textAlign":118},[1542],{"text":1543,"type":513},"Signifikante Testergebnisse bis zu 300% schneller zu erreichen klingt wahnsinnig verlockend. Wir freuen uns auf die Ära des Machine Learning und sehen gespannt dabei zu, wie Testing Tools immer intelligenter werden.",{"type":42,"attrs":1545,"content":1546},{"textAlign":118},[1547],{"text":1548,"type":513},"Kontrolle geht über Vertrauen. Tappe nicht in die Testingfalle, indem Du vermeintliche Sieger feierst und nach kleinen Anpassungen 30% Uplift erhoffst. Denn:",{"type":950,"content":1550},[1551],{"type":42,"attrs":1552,"content":1553},{"textAlign":118},[1554],{"text":1555,"type":513},"Uplift erfordert Kontrast!",{"type":42,"attrs":1557,"content":1558},{"textAlign":118},[1559],{"text":1560,"type":513},"High Impact Testing ist für uns Optimierer der spannendste Quadrant des “4-Felder-Modell des A/B-Testings”. Die Basis sind starke Hypothesen und durchdachte Testkonzepte, die beim Nutzer einen hohen Kontrast erzeugen. Viel Kontrast führt zu einer Änderung des Nutzerverhaltens und somit zu einem hohen Impact auf die Conversion Rate.",{"type":42,"attrs":1562,"content":1563},{"textAlign":118},[1564],{"text":1565,"type":513},"Nur die wenigsten Webseiten wie booking.com haben genug Traffic, um valide high-frequency zu testen.",{"type":42,"attrs":1567,"content":1568},{"textAlign":118},[1569],{"type":928,"attrs":1570,"marks":1574},{"id":118,"alt":1571,"src":1572,"title":118,"source":30,"copyright":30,"meta_data":1573},"5_4_felder_modell_a_b_testing","https://storage.googleapis.com/kk-website-assets/Tsv-p3j3_5_4_felder_modell_a_b_testing-1-610x409.png",{"alt":1571,"title":118,"source":30,"copyright":30},[1575],{"type":1019,"attrs":1576},{"href":1577,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/wp-content/uploads/2017/01/5_4_felder_modell_a_b_testing-1.png",{"type":42,"attrs":1579,"content":1580},{"textAlign":118},[1581,1583,1587,1589,1595],{"text":1582,"type":513},"Das passende ",{"text":1584,"type":513,"marks":1585},"Conversion Whiteboard zum 4-Felder-Modell des A/B-Testings",[1586],{"type":964},{"text":1588,"type":513}," gibt es ",{"text":1590,"type":513,"marks":1591},"hier",[1592],{"type":1019,"attrs":1593},{"href":1594,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/conversion-whiteboard/episode-3-das-4-felder-modell-des-ab-testings.html",{"text":1442,"type":513},{"type":933,"attrs":1597,"content":1598},{"level":935,"textAlign":118},[1599],{"text":1600,"type":513,"marks":1601},"Fazit",[1602],{"type":964},{"type":42,"attrs":1604,"content":1605},{"textAlign":118},[1606],{"text":1607,"type":513},"Gerate nicht in die Testingfalle, sondern achte also auf saubere Daten und Erkenntnisse. Dabei kommst Du manchmal nicht umher, Dein Testing Tool genau unter die Lupe zu nehmen. Macht es keine Korrekturen, dann analysiere die Ergebnisse von Hand oder hol´ Dir Expertenrat.",{"type":42,"attrs":1609,"content":1610},{"textAlign":118},[1611],{"text":1612,"type":513},"Das klingt nach Aufwand? Vielleicht… Aber mit falschem Ergebnissen brauchst Du viel mehr Zeit, im schlimmsten Fall machst Du ein gesamtes Optimierungsprogramm unglaubwürdig.",{"type":42,"attrs":1614,"content":1615},{"textAlign":118},[1616],{"text":1617,"type":513},"Also lass Dich nicht von wohlklingenden Uplifts einlullen, sondern hinterfrage die Resultate immer gewissenhaft.",{"type":42,"attrs":1619,"content":1620},{"textAlign":118},[1621],{"text":1622,"type":513},"In anderen Worten: Werde selbst zum Koch und Deinem Sternemenü steht nichts mehr im Wege. 😉",{"type":933,"attrs":1624,"content":1625},{"level":935,"textAlign":118},[1626],{"text":1627,"type":513},"Mehr Wissenswertes zum Thema",{"type":42,"attrs":1629,"content":1630},{"textAlign":118},[1631],{"text":1632,"type":513},"https://www.konversionskraft.de/data-analytics/10-statistik-fallen-beim-testing-der-ultimative-guide-fuer-optimierer.html",{"type":42,"attrs":1634,"content":1635},{"textAlign":118},[1636],{"text":1637,"type":513},"https://www.konversionskraft.de/multivariates-testing-mvt",{"type":42,"attrs":1639,"content":1640},{"textAlign":118},[1641],{"text":1642,"type":513},"https://www.konversionskraft.de/theorie/agiles-optimieren-in-der-praxis-nacheinander-gleichzeitig-oder-multivariat-testen.html",{"type":42,"attrs":1644,"content":1645},{"textAlign":118},[1646],{"text":1647,"type":513},"https://www.konversionskraft.de/conversion-seminare/conversion-testing",{"type":42,"attrs":1649,"content":1650},{"textAlign":118},[1651],{"text":1652,"type":513},"https://www.konversionskraft.de/hintergrunde/die-wirklich-wahren-conversion-killer-mit-5-masnahmen-zur-testing-exzellenz.html",{"type":42,"attrs":1654,"content":1655},{"textAlign":118},[1656],{"text":1657,"type":513},"https://www.konversionskraft.de/strategie/das-nurburgringprinzip-dont-burn-money-in-black-holes.html","richtext-text",{"alt":903,"src":1660,"name":30,"focus":30,"title":118,"source":30,"filename":1660,"copyright":30,"fieldtype":49,"meta_data":1661},"//a.storyblok.com/f/328018/ae1ffeca9d/multivariate-tests-simpson-paradoxon-testing-tool-html-d3580f93-titelbild-andre-1.jpg",{"alt":903,"title":118,"source":30,"copyright":30},[1663],{"name":1664,"created_at":1665,"published_at":1666,"updated_at":1667,"id":1668,"uuid":1669,"content":1670,"slug":1692,"full_slug":1693,"sort_by_date":118,"position":1694,"tag_list":1695,"is_startpage":51,"parent_id":1696,"meta_data":118,"group_id":1697,"first_published_at":1698,"release_id":118,"lang":124,"path":118,"alternates":1699,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"André Morys","2025-10-10T20:05:32.617Z","2026-10-09T12:08:22.879Z","2026-10-09T12:08:22.893Z",100094495227945,"491d42eb-e892-4c21-bba7-75e8ea5c0bce",{"_uid":1671,"name":1664,"role":30,"about":1672,"email":1684,"avatar":1685,"component":1688,"social_link_x":1689,"social_link_dribbble":30,"social_link_facebook":1690,"social_link_linked_in":1691},"f7be45c7-18b3-4af2-8141-33da6207c43d",{"type":39,"content":1673},[1674,1679],{"type":42,"attrs":1675,"content":1676},{"textAlign":118},[1677],{"text":1678,"type":513},"André Morys (geb. 1974) ist Gründer und Vorstand (Vors.) von konversionsKRAFT, strategischer Partner für digitales Wachstum, der Umsetzung und Resultate verantwortet. Darüber hinaus ist André Morys Initiator und Gründer der GO Group Digital, die ein weltweites Netz von Experten für digitale Transformation bildet.",{"type":42,"attrs":1680,"content":1681},{"textAlign":118},[1682],{"text":1683,"type":513},"Zu seinen Veröffentlichungen zählen “Die digitale Wachstumsstrategie” (2018) und „Conversion Optimierung” (2011) sowie zahlreiche Fachbeiträge in einschlägigen Medien zu Online-Marketing. Er ist zusätzlich als Dozent an der Fachhochschule Würzburg tätig und hält zahlreiche Keynotes und Vorträge auf nationalen und internationalen Kongressen zu den Themen digitales Wachstum, E-Commerce und Optimierungsstrategien.","andre.morys@konversionskraft.de",{"alt":1664,"src":1686,"name":30,"focus":30,"title":1664,"source":30,"filename":1686,"copyright":30,"fieldtype":49,"meta_data":1687,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/_qfLHa7M_andre-morys.png",{"alt":1664,"title":1664,"source":30,"copyright":30},"page-author","https://twitter.com/#!/morys","https://www.facebook.com/morys","https://www.linkedin.com/in/andre-morys/","andre-morys","de/autoren/andre-morys",-150,[],677009943,"10a5349a-d02f-4016-a254-770173490c3f","2025-11-17T10:34:46.245Z",[],"1636063d-dc1d-4c5f-88ac-f883cb3898e4","page-blog-post",[1703,1719,1732,1745],{"name":1704,"created_at":1705,"published_at":1706,"updated_at":1705,"id":1707,"uuid":1700,"content":1708,"slug":1711,"full_slug":1712,"sort_by_date":118,"position":1713,"tag_list":1714,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1716,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1718,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Data Analytics","2025-10-13T20:21:57.932Z","2025-11-27T08:54:46.522Z",101160214285780,{"_uid":1709,"component":1710},"c19807d9-938a-4832-8817-95fdbbea26dc","document-blog-category","data-analytics","de/_categories/data-analytics",-160,[],101158655217801,"be2d51cd-41e0-4d6a-a93e-7fa3982ca36c","2025-11-17T10:34:46.494Z",[],{"name":1720,"created_at":1721,"published_at":1706,"updated_at":1721,"id":1722,"uuid":1723,"content":1724,"slug":1726,"full_slug":1727,"sort_by_date":118,"position":1728,"tag_list":1729,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1730,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1731,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Data Sciences","2025-10-13T20:21:58.568Z",101160216886741,"f449697d-cbdd-4d7b-ab3d-634c234ec9f8",{"_uid":1725,"component":1710},"b8acba9f-933f-484d-91d4-b188b9fe42ce","data-sciences","de/_categories/data-sciences",-170,[],"b502c3bd-1699-45dc-a7e2-262bf092a90f",[],{"name":1733,"created_at":1734,"published_at":1706,"updated_at":1734,"id":1735,"uuid":1736,"content":1737,"slug":1739,"full_slug":1740,"sort_by_date":118,"position":1741,"tag_list":1742,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1743,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1744,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Technologie","2025-10-15T15:49:49.362Z",101801121308091,"a3be369d-b94d-4407-9ecc-a3802c54da76",{"_uid":1738,"component":1710},"11299b6e-2e6e-4457-b7a9-1499a33f6983","technologie","de/_categories/technologie",-300,[],"b72dea62-59e0-4304-a16c-1c1f534f16c1",[],{"name":1746,"created_at":1747,"published_at":1706,"updated_at":1747,"id":1748,"uuid":1749,"content":1750,"slug":1752,"full_slug":1753,"sort_by_date":118,"position":1754,"tag_list":1755,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1756,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1757,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Data Science","2025-11-12T16:13:50.397Z",111716066946451,"6abe50ea-afe8-4615-ade1-71e924bd54a7",{"_uid":1751,"component":1710},"07fd1964-f6bf-4e90-9575-819994d2bfb8","data-science","de/_categories/data-science",-410,[],"24621a2c-fe9b-4061-8e92-aeb0d17534f7",[],[],[1760,1766,1773],{"_uid":1761,"link":1762,"text":1765,"component":59},"ce24b3e8-4ec9-450f-a338-354f5aee05d1",{"id":1763,"url":1764,"linktype":31,"fieldtype":32,"cached_url":1764},632563185,"de","Home",{"_uid":1767,"link":1768,"text":442,"component":59},"6c01241e-df7c-4108-808b-fed4723c7137",{"id":1769,"url":1770,"linktype":31,"fieldtype":32,"cached_url":1770,"story":1771},"7cc26d60-883e-42a6-8af9-9c1241ebd4eb","de/blog",{"name":442,"id":1772,"uuid":1769,"slug":440,"url":1770,"full_slug":1770,"_stopResolving":81},99774720228859,{"_uid":1774,"link":1775,"text":903,"component":59},"312c32d2-93d6-4895-86aa-42b7868e897a",{"id":908,"url":1776,"linktype":31,"fieldtype":32,"cached_url":1776,"story":1777},"de/blog/data-science/multivariate-tests-simpson-paradoxon-testing-tool",{"name":903,"id":907,"uuid":908,"slug":1778,"url":1779,"full_slug":1779,"_stopResolving":81},"multivariate-tests-simpson-paradoxon-testing-tool","de/data-science/multivariate-tests-simpson-paradoxon-testing-tool",[],"12",[],[],-60,[1786],"Multivariate Tests",101807473516336,"a7b379ba-9338-482c-835e-56b448262a10","2017-11-28T10:11:42.000Z",[],[1792,1796,1812,1816,1820],{"name":1704,"created_at":1705,"published_at":1706,"updated_at":1705,"id":1707,"uuid":1700,"content":1793,"slug":1711,"full_slug":1712,"sort_by_date":118,"position":1713,"tag_list":1794,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1716,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1795,"default_full_slug":118,"translated_slugs":118},{"_uid":1709,"component":1710},[],[],{"name":1664,"created_at":1665,"published_at":1666,"updated_at":1667,"id":1668,"uuid":1669,"content":1797,"slug":1692,"full_slug":1693,"sort_by_date":118,"position":1694,"tag_list":1810,"is_startpage":51,"parent_id":1696,"meta_data":118,"group_id":1697,"first_published_at":1698,"release_id":118,"lang":124,"path":118,"alternates":1811,"default_full_slug":118,"translated_slugs":118},{"_uid":1671,"name":1664,"role":30,"about":1798,"email":1684,"avatar":1808,"component":1688,"social_link_x":1689,"social_link_dribbble":30,"social_link_facebook":1690,"social_link_linked_in":1691},{"type":39,"content":1799},[1800,1804],{"type":42,"attrs":1801,"content":1802},{"textAlign":118},[1803],{"text":1678,"type":513},{"type":42,"attrs":1805,"content":1806},{"textAlign":118},[1807],{"text":1683,"type":513},{"alt":1664,"src":1686,"name":30,"focus":30,"title":1664,"source":30,"filename":1686,"copyright":30,"fieldtype":49,"meta_data":1809,"is_external_url":81},{"alt":1664,"title":1664,"source":30,"copyright":30},[],[],{"name":1746,"created_at":1747,"published_at":1706,"updated_at":1747,"id":1748,"uuid":1749,"content":1813,"slug":1752,"full_slug":1753,"sort_by_date":118,"position":1754,"tag_list":1814,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1756,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1815,"default_full_slug":118,"translated_slugs":118},{"_uid":1751,"component":1710},[],[],{"name":1733,"created_at":1734,"published_at":1706,"updated_at":1734,"id":1735,"uuid":1736,"content":1817,"slug":1739,"full_slug":1740,"sort_by_date":118,"position":1741,"tag_list":1818,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1743,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1819,"default_full_slug":118,"translated_slugs":118},{"_uid":1738,"component":1710},[],[],{"name":1720,"created_at":1721,"published_at":1706,"updated_at":1721,"id":1722,"uuid":1723,"content":1821,"slug":1726,"full_slug":1727,"sort_by_date":118,"position":1728,"tag_list":1822,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1730,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":1823,"default_full_slug":118,"translated_slugs":118},{"_uid":1725,"component":1710},[],[],[1825,1826,1827],{"name":572,"id":573,"uuid":569,"slug":574,"url":570,"full_slug":570},{"name":442,"id":1772,"uuid":1769,"slug":440,"url":1770,"full_slug":1770},{"name":903,"id":907,"uuid":908,"slug":1778,"url":1779,"full_slug":1779},"\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 24 24\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath d=\"M9.70697 16.9496L15.414 11.2426L9.70697 5.53564L8.29297 6.94964L12.586 11.2426L8.29297 15.5356L9.70697 16.9496Z\" fill=\"currentColor\"/>\n\u003C/svg>\n","\u003Csvg xmlns=\"http://www.w3.org/2000/svg\" width=\"1em\" height=\"1em\" fill=\"currentColor\" viewBox=\"0 0 256 256\">\u003Cpath d=\"M224,48H32a8,8,0,0,0-8,8V192a16,16,0,0,0,16,16H216a16,16,0,0,0,16-16V56A8,8,0,0,0,224,48Zm-96,85.15L52.57,64H203.43ZM98.71,128,40,181.81V74.19Zm11.84,10.85,12,11.05a8,8,0,0,0,10.82,0l12-11.05,58,53.15H52.57ZM157.29,128,216,74.18V181.82Z\">\u003C/path>\u003C/svg>","\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 24 24\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath fill-rule=\"evenodd\" clip-rule=\"evenodd\" d=\"M4.5 3.24268C3.67157 3.24268 3 3.91425 3 4.74268V19.7427C3 20.5711 3.67157 21.2427 4.5 21.2427H19.5C20.3284 21.2427 21 20.5711 21 19.7427V4.74268C21 3.91425 20.3284 3.24268 19.5 3.24268H4.5ZM8.52076 7.2454C8.52639 8.20165 7.81061 8.79087 6.96123 8.78665C6.16107 8.78243 5.46357 8.1454 5.46779 7.24681C5.47201 6.40165 6.13998 5.72243 7.00764 5.74212C7.88795 5.76181 8.52639 6.40728 8.52076 7.2454ZM12.2797 10.0044H9.75971H9.7583V18.5643H12.4217V18.3646C12.4217 17.9847 12.4214 17.6047 12.4211 17.2246C12.4203 16.2108 12.4194 15.1959 12.4246 14.1824C12.426 13.9363 12.4372 13.6804 12.5005 13.4455C12.7381 12.568 13.5271 12.0013 14.4074 12.1406C14.9727 12.2291 15.3467 12.5568 15.5042 13.0898C15.6013 13.423 15.6449 13.7816 15.6491 14.129C15.6605 15.1766 15.6589 16.2242 15.6573 17.2719C15.6567 17.6417 15.6561 18.0117 15.6561 18.3815V18.5629H18.328V18.3576C18.328 17.9056 18.3278 17.4537 18.3275 17.0018C18.327 15.8723 18.3264 14.7428 18.3294 13.6129C18.3308 13.1024 18.276 12.599 18.1508 12.1054C17.9638 11.3713 17.5771 10.7638 16.9485 10.3251C16.5027 10.0129 16.0133 9.81178 15.4663 9.78928C15.404 9.78669 15.3412 9.7833 15.2781 9.77989C14.9984 9.76477 14.7141 9.74941 14.4467 9.80334C13.6817 9.95662 13.0096 10.3068 12.5019 10.9241C12.4429 10.9949 12.3852 11.0668 12.2991 11.1741L12.2797 11.1984V10.0044ZM5.68164 18.5671H8.33242V10.01H5.68164V18.5671Z\" fill=\"currentColor\"/>\n\u003C/svg>\n","\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 24 24\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath d=\"M17.1761 4.24268H19.9362L13.9061 11.0201L21 20.2427H15.4456L11.0951 14.6493L6.11723 20.2427H3.35544L9.80517 12.9935L3 4.24268H8.69545L12.6279 9.3553L17.1761 4.24268ZM16.2073 18.6181H17.7368L7.86441 5.78196H6.2232L16.2073 18.6181Z\" fill=\"currentColor\"/>\n\u003C/svg>","\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 24 24\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath d=\"M22 12.3038C22 6.74719 17.5229 2.24268 12 2.24268C6.47715 2.24268 2 6.74719 2 12.3038C2 17.3255 5.65684 21.4879 10.4375 22.2427V15.2121H7.89844V12.3038H10.4375V10.0872C10.4375 7.56564 11.9305 6.1728 14.2146 6.1728C15.3088 6.1728 16.4531 6.36931 16.4531 6.36931V8.84529H15.1922C13.95 8.84529 13.5625 9.6209 13.5625 10.4166V12.3038H16.3359L15.8926 15.2121H13.5625V22.2427C18.3432 21.4879 22 17.3257 22 12.3038Z\" fill=\"currentColor\"/>\n\u003C/svg>\n","\u003Csvg width=\"1em\" height=\"1em\" viewBox=\"0 0 16 16\" fill=\"currentColor\" xmlns=\"http://www.w3.org/2000/svg\">\n\u003Cpath d=\"M13.5893 0.458984L7.93196 6.11498L2.27596 0.458984L0.390625 2.34432L6.04662 8.00032L0.390625 13.6563L2.27596 15.5417L7.93196 9.88565L13.5893 15.5417L15.4746 13.6563L9.81863 8.00032L15.4746 2.34432L13.5893 0.458984Z\" fill=\"currentColor\"/>\n\u003C/svg>\n",{"stories":1835,"total":3797},[1836,2340,3197],{"name":1837,"created_at":1838,"published_at":905,"updated_at":1839,"id":1840,"uuid":1841,"content":1842,"slug":2328,"full_slug":2329,"sort_by_date":118,"position":2333,"tag_list":2334,"is_startpage":51,"parent_id":1787,"meta_data":118,"group_id":2337,"first_published_at":2338,"release_id":118,"lang":124,"path":118,"alternates":2339,"default_full_slug":118,"translated_slugs":118},"Warum erfolgreiche A/B-Tests eine saubere statistische Testplanung brauchen (plus neues Testplaner-Tool)","2025-10-15T16:26:37.517Z","2026-10-04T09:56:23.390Z",101810165859050,"64a00144-ea1c-46b0-a1cc-5a85414d4a00",{"seo":1843,"_uid":1845,"body":1846,"text":1844,"image":2281,"authors":2284,"category":2286,"headline":1837,"component":1701,"categories":2287,"bottom_head":2314,"breadcrumbs":2315,"seo_noindex":51,"sidebar_cta":2330,"reading_time":2331,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":2332,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":1837,"plugin":911,"og_image":30,"og_title":1837,"description":1844,"twitter_image":30,"twitter_title":1837,"og_description":1844,"twitter_description":1844},"Eine methodisch und statistisch saubere Testplanung ist die Grundlage für ein erfolgreiches Testing-Programm. Nutze dafür den neuen Testplaner.","2b391d85-fd51-4d68-95b8-17d9188a16f7",[1847],{"_uid":1848,"text":1849,"component":1658},"aead8f6f-2188-42a1-9fbd-b597082d780c",{"type":39,"content":1850},[1851,1861,1869,1874,1947,1952,1956,1960,1965,1969,1979,1984,1996,2005,2014,2018,2023,2027,2044,2054,2059,2078,2082,2098,2103,2113,2117,2121,2142,2146,2162,2167,2171,2175,2181,2189,2201,2205,2209,2213,2217,2221,2225,2230,2249,2253,2257,2261,2265,2273],{"type":42,"content":1852},[1853,1855,1859],{"text":1854,"type":513},"Um die Grundlage für ein erfolgreiches Testing-Programm zu legen, ist ein methodisch – und das heißt vor allem statistisch – sauberes Vorgehen bei der Testplanung unerlässlich. Mit der Berechnung von p-Werten, CTBC-Scores und Konfidenzintervallen können wir ",{"text":1856,"type":513,"marks":1857},"unser Risiko für Fehlentscheidungen kontrollieren",[1858],{"type":964},{"text":1860,"type":513}," und valide Ableitungen über unsere getesteten Varianten treffen. Und dabei natürlich hoffentlich viele „Gewinner“ ermitteln. 😉",{"type":42,"content":1862},[1863,1867],{"text":1864,"type":513,"marks":1865},"Statistik ist allerdings schon lange vor der Testauswertung relevant.",[1866],{"type":964},{"text":1868,"type":513}," Bereits bei der Planung eines A/B-Tests wird mit der Beschreibung eines Testdesigns das Fundament für den späteren Erfolg gelegt. Und genau darauf geht dieser Artikel ein; und genau dafür haben wir ein neues Tool, den „Testplaner“, entwickelt!",{"type":933,"attrs":1870,"content":1871},{"level":935},[1872],{"text":1873,"type":513},"Woraus besteht ein statistisches Testdesign?",{"type":1161,"attrs":1875,"content":1876},{"order":1163,"tight":51},[1877,1887,1897,1907,1917,1927,1937],{"type":1088,"content":1878},[1879],{"type":42,"content":1880},[1881],{"text":1882,"type":513,"marks":1883},"Die Population / Stichproben-Einheit",[1884],{"type":1019,"attrs":1885},{"href":1886,"uuid":118,"anchor":118,"target":118,"linktype":136},"#die-population-stichproben-einheit",{"type":1088,"content":1888},[1889],{"type":42,"content":1890},[1891],{"text":1892,"type":513,"marks":1893},"Die Stichprobezuordnung",[1894],{"type":1019,"attrs":1895},{"href":1896,"uuid":118,"anchor":118,"target":118,"linktype":136},"#die-stichprobezuordnung",{"type":1088,"content":1898},[1899],{"type":42,"content":1900},[1901],{"text":1902,"type":513,"marks":1903},"Hypothese (Nullhypothese und Alternativhypothese)",[1904],{"type":1019,"attrs":1905},{"href":1906,"uuid":118,"anchor":118,"target":118,"linktype":136},"#hypothese-nullhypothese-und-alternativhypothese",{"type":1088,"content":1908},[1909],{"type":42,"content":1910},[1911],{"text":1912,"type":513,"marks":1913},"Die Zielmetrik(en)",[1914],{"type":1019,"attrs":1915},{"href":1916,"uuid":118,"anchor":118,"target":118,"linktype":136},"#die-zielmetrik-en",{"type":1088,"content":1918},[1919],{"type":42,"content":1920},[1921],{"text":1922,"type":513,"marks":1923},"Risiko für False Positives: (Alpha-Fehler & Konfidenzniveau)",[1924],{"type":1019,"attrs":1925},{"href":1926,"uuid":118,"anchor":118,"target":118,"linktype":136},"#risiko-fur-false-positives-alpha-fehler-konfidenzniveau",{"type":1088,"content":1928},[1929],{"type":42,"content":1930},[1931],{"text":1932,"type":513,"marks":1933},"Risiko für False Negatives (Beta-Fehler & Testpower)",[1934],{"type":1019,"attrs":1935},{"href":1936,"uuid":118,"anchor":118,"target":118,"linktype":136},"#risiko-fur-false-negatives-beta-fehler-testpower",{"type":1088,"content":1938},[1939],{"type":42,"content":1940},[1941],{"text":1942,"type":513,"marks":1943},"Testlaufzeit",[1944],{"type":1019,"attrs":1945},{"href":1946,"uuid":118,"anchor":118,"target":118,"linktype":136},"#testlaufzeit",{"type":933,"attrs":1948,"content":1950},{"id":1949,"level":1073},"die-population-stichproben-einheit",[1951],{"text":1882,"type":513},{"type":42,"content":1953},[1954],{"text":1955,"type":513},"Die für einen Test relevante Population wird darüber definiert, dass Nutzer:innen durch den Test beeinflusst werden können. Wird bspw. in einem Experiment die Produktdetailseite (PDS) verändert, besteht die Population aus allen Nutzer:innen, die eine PDS besucht haben. Im Experiment versuchen wir dann anhand einer Stichprobe zu überprüfen, ob sich das Verhalten dieser Population durch eine unserer Testvarianten signifikant verändern würde.",{"type":42,"content":1957},[1958],{"text":1959,"type":513},"Stichproben bestehen meistens aus eindeutigen Nutzern (genau genommen Nutzer-IDs). Möglich, aber selten, sind auch andere Einheiten, wie Sitzungen oder Pageviews.",{"type":933,"attrs":1961,"content":1963},{"id":1962,"level":1073},"die-stichprobezuordnung",[1964],{"text":1892,"type":513},{"type":42,"content":1966},[1967],{"text":1968,"type":513},"Bei A/B-Tests werden die Testteilnehmer:innen nahezu immer zufällig einer Testvariante zugewiesen. Bei einer ausreichend großen Stichprobe wird dadurch gewährleistet, dass diese über den Testzeitraum repräsentativ ist.",{"type":42,"content":1970},[1971,1973,1977],{"text":1972,"type":513},"Relevant ist auch das Verhältnis der Stichprobengrößen zwischen den einzelnen Varianten: ",{"text":1974,"type":513,"marks":1975},"üblich ist eine Gleichverteilung auf alle Varianten",[1976],{"type":964},{"text":1978,"type":513},". Andere Verteilungen, um etwa das Risiko unterlegener Varianten zu minimieren, sind aber ebenfalls möglich.",{"type":933,"attrs":1980,"content":1982},{"id":1981,"level":1073},"hypothese-nullhypothese-und-alternativhypothese",[1983],{"text":1902,"type":513},{"type":42,"content":1985},[1986,1988,1994],{"text":1987,"type":513},"Die ",{"text":1989,"type":513,"marks":1990},"Hypothese",[1991],{"type":1019,"attrs":1992},{"href":1993,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/conversion-whiteboard/conversion-whiteboard-17-das-hypothesen-template-fuer-erfolgreichere-ab-tests.html",{"text":1995,"type":513}," beschreibt als zentrale Aussage, was wir mit unserem Experiment nachweisen möchten.",{"type":42,"content":1997},[1998,1999,2003],{"text":1987,"type":513},{"text":2000,"type":513,"marks":2001},"Alternativhypothese",[2002],{"type":964},{"text":2004,"type":513}," beschreibt die durch die optimierte Variante zu erwartenden Veränderung(en) in der Zielmetrik, damit diese als Erfolg bewertet wird. Das kann ganz simpel ein grundsätzlicher Uplift in der Conversion Rate sein, aber auch ein spezifischer Mindest-Uplift, zum Beispiel in Höhe von zwei Prozent.",{"type":42,"content":2006},[2007,2008,2012],{"text":1987,"type":513},{"text":2009,"type":513,"marks":2010},"Nullhypothese",[2011],{"type":964},{"text":2013,"type":513}," beschreibt das Gegenteil unserer Alternativhypothese. Sie besagt also, dass es keinen Unterschied zwischen der Control und der Variante gibt – im Beispiel oben also keinen (Mindest-)Uplift in der Conversion Rate.",{"type":42,"content":2015},[2016],{"text":2017,"type":513},"Ein signifikantes Ergebnis bedeutet, dass wir die Nullhypothese verwerfen und stattdessen unsere Alternativhypothese annehmen.",{"type":933,"attrs":2019,"content":2021},{"id":2020,"level":1073},"die-zielmetrik-en",[2022],{"text":1912,"type":513},{"type":42,"content":2024},[2025],{"text":2026,"type":513},"Anhand der Zielmetrik als zentrale Messgröße vergleichen wir die Leistung der verschiedenen Varianten. Die Wahl der richtigen Zielmetrik ist entscheidend, da sie den Fokus des Tests festlegt und direkten Einfluss auf die Schlussfolgerungen und Entscheidungen hat.",{"type":42,"content":2028},[2029,2031,2035,2037,2042],{"text":2030,"type":513},"Die Zielmetrik sollte möglichst nahe an der Business-relevanten Metrik liegen und muss zum erwarteten Verhalten der Hypothese passen. ",{"text":2032,"type":513,"marks":2033},"Idealerweise hat ein Experiment genau eine Zielmetrik",[2034],{"type":964},{"text":2036,"type":513}," (",{"text":2038,"type":513,"marks":2039},"Primary Goal",[2040],{"type":2041},"italic",{"text":2043,"type":513},"), um zu entscheiden, ob eine Variante ein Gewinner ist oder nicht.",{"type":42,"content":2045},[2046,2048,2052],{"text":2047,"type":513},"Das soll aber nicht grundlegend die Zahl der in einem Experiment gemessenen Metriken beschränken. ",{"text":2049,"type":513,"marks":2050},"Secondary Goals",[2051],{"type":2041},{"text":2053,"type":513}," sind essenziell, um das Verhalten der Nutzer:innen im Test zu verstehen und möglichst viel aus jedem Experiment zu lernen. Diese zusätzlichen Ziele sollten aber nicht herangezogen werden, um zu entscheiden, ob eine Variante ein Gewinner ist oder nicht.",{"type":933,"attrs":2055,"content":2057},{"id":2056,"level":1073},"risiko-fur-false-positives-alpha-fehler-konfidenzniveau",[2058],{"text":1922,"type":513},{"type":42,"content":2060},[2061,2063,2067,2069,2074],{"text":2062,"type":513},"Mit dem Signifikanzniveau bzw. dem Konfidenzniveau bestimmen wir vor dem Test, wie sehr die Daten gegen die Nullhypothese sprechen müssen, um einen Effekt als signifikant zu bewerten. ",{"text":2064,"type":513,"marks":2065},"Dadurch wird das",[2066],{"type":964},{"text":2068,"type":513}," ",{"text":2070,"type":513,"marks":2071},"Alpha-Fehler",[2072,2073],{"type":2041},{"type":964},{"text":2075,"type":513,"marks":2076},"****-Risiko für falsch-positive Ergebnisse begrenzt.",[2077],{"type":964},{"type":42,"content":2079},[2080],{"text":2081,"type":513},"Ein wichtiger Aspekt dabei ist, eine mögliche Alpha-Fehler-Kumulierung (Multiple Testing Problem) zu berücksichtigen. Diese tritt immer dann auf, wenn anhand einer Stichprobe mehrere Auswertungen durchgeführt werden, beispielsweise bei einem Test mit einer Control-Gruppe und zwei weiteren Varianten. Hier wird nicht nur ein Test durchgeführt (Control vs. Variante), sondern direkt zwei (Control vs. Variante 1 und Control vs. Variante 2). Damit erhöhen wir das Gesamtrisiko, dass in einem der beiden Tests ein falsch-positives Ergebnis vorliegen könnte. Es gibt eine Vielzahl von Methoden, um diesem Effekt entgegenzuwirken, beispielsweise eine Anpassung des Konfidenzniveaus. Dies sollte unbedingt bereits im Experiment-Design berücksichtigt und dokumentiert werden.",{"type":1085,"attrs":2083,"content":2084},{"tight":51},[2085],{"type":1088,"content":2086},[2087],{"type":42,"content":2088},[2089,2091,2097],{"text":2090,"type":513},"Siehe dazu auch mein ",{"text":2092,"type":513,"marks":2093},"Artikel über paralleles Testing und die verschiedenen Testmodelle",[2094],{"type":1019,"attrs":2095},{"href":2096,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/experimentation/paralleles-testen.html",{"text":1442,"type":513},{"type":933,"attrs":2099,"content":2101},{"id":2100,"level":1073},"risiko-fur-false-negatives-beta-fehler-testpower",[2102],{"text":1932,"type":513},{"type":42,"content":2104},[2105,2107,2111],{"text":2106,"type":513},"Auch der umgekehrte Fall eines falsch-negativen Resultats ist möglich, bei dem das Ergebnis nicht signifikant ist, obwohl die Alternativhypothese zutrifft. Dieses _Beta-Fehler-_Risiko versuchen wir durch die ",{"text":2108,"type":513,"marks":2109},"Testpower",[2110],{"type":964},{"text":2112,"type":513}," zu kontrollieren.",{"type":42,"content":2114},[2115],{"text":2116,"type":513},"Die statistische Power ist die Wahrscheinlichkeit mittels eines Experiments einen Uplift nachweisen zu können, wenn dieser tatsächlich auch existiert. Die Power wird daher auch als Teststärke bezeichnet und gibt an, wie gut ein Test in der Lage ist, einen Unterschied signifikant nachzuweisen. Sie beschreibt also die Gegenwahrscheinlichkeit des zum Beta-Fehler.",{"type":42,"content":2118},[2119],{"text":2120,"type":513},"Die Power können wir beeinflussen, indem wir",{"type":1085,"attrs":2122,"content":2123},{"tight":51},[2124,2130,2136],{"type":1088,"content":2125},[2126],{"type":42,"content":2127},[2128],{"text":2129,"type":513},"das Konfidenzniveau anpassen: Je niedriger das Konfidenzniveau, umso größer die Power, sofern alle anderen Parameter konstant bleiben.",{"type":1088,"content":2131},[2132],{"type":42,"content":2133},[2134],{"text":2135,"type":513},"den Kontrast der Varianten erhöhen: Dadurch steigt der erwartete Effekt („Minimal Detectable Effect“, kurz MDE oder auf Deutsch MEI) und stärkere Effekte führen häufiger zu signifikanten Ergebnissen.",{"type":1088,"content":2137},[2138],{"type":42,"content":2139},[2140],{"text":2141,"type":513},"die Stichprobengröße anpassen: Die Chance einen Effekt signifikant nachzuweisen steigt mit der Stichprobengröße.",{"type":42,"content":2143},[2144],{"text":2145,"type":513},"Da der MEI nicht ohne weitere Anpassung der Testvariante erfolgen kann und das Konfidenzniveau durch unser toleriertes Risiko für falsch-positive Resultate bestimmt werden sollte, ist die Stichprobengröße die eigentliche Stellschraube für die Power.",{"type":1085,"attrs":2147,"content":2148},{"tight":51},[2149],{"type":1088,"content":2150},[2151],{"type":42,"content":2152},[2153,2155,2161],{"text":2154,"type":513},"Siehe dazu auch ",{"text":2156,"type":513,"marks":2157},"Julia Engelmanns Artikel zur Testpower",[2158],{"type":1019,"attrs":2159},{"href":2160,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/data-analytics/statistik-fehler-beim-a-b-testing-vermeiden.html",{"text":1442,"type":513},{"type":933,"attrs":2163,"content":2165},{"id":2164,"level":1073},"testlaufzeit",[2166],{"text":1942,"type":513},{"type":42,"content":2168},[2169],{"text":2170,"type":513},"Die geschätzte Testlaufzeit kann man als Endergebnis einer vollständigen Testplanung betrachten. Durch die Varianz in der Zielmetrik in der Population (wird z. B. durch die aktuelle Conversion Rate geschätzt), dem benötigten Konfidenzniveau und Power und dem erwarteten Effekt (MEI) wird die benötigte Stichprobengröße für eine bestimmte Nullhypothese berechnet.",{"type":42,"content":2172},[2173],{"text":2174,"type":513},"Teilen wir diese Stichprobengröße durch die wöchentlich zu erwartenden Nutzer:innen im Experiment (wird durch Traffic-Daten für die für den Test relevanten Seiten geschätzt), erhalten wir die erwartete Testlaufzeit.",{"type":933,"attrs":2176,"content":2178},{"id":2177,"level":935},"warum-braucht-es-eine-solide-testplanung",[2179],{"text":2180,"type":513},"Warum braucht es eine solide Testplanung?",{"type":42,"content":2182},[2183,2187],{"text":2184,"type":513,"marks":2185},"Mit einer sorgfältigen Testplanung wird sowohl die Effektivität, als auch die Effizienz eines Testingprogramms optimiert.",[2186],{"type":964},{"text":2188,"type":513}," Durch eine relevante Nullhypothese, einem angemessenen Konfidenzniveau und dem damit verbundenen begrenzten Risiko für falsch-positive Ergebnisse sowie einer ausreichend großen Stichprobe können wir sicherstellen, relevante Effekte überhaupt zu erkennen. Durch die Bestimmung einer optimalen Stichprobengröße für eine gewünschte Testpower stellen wir sicher, einen Test nicht zu lange laufen zu lassen – aber auch nicht zu früh zu beenden.",{"type":950,"content":2190},[2191,2195],{"type":42,"content":2192},[2193],{"text":2194,"type":513},"Wir beobachten häufig bei Kunden, dass Tests immer genau eine oder zwei Wochen laufen, unabhängig von geschätzten Effekten. Dadurch können insbesondere kleinere Effekte übersehen werden.",{"type":42,"content":2196},[2197],{"text":2198,"type":513,"marks":2199},"Dr. René Gilster, Principal Behavioral Science",[2200],{"type":2041},{"type":42,"content":2202},[2203],{"text":2204,"type":513},"Wie entscheidend eine solide Testplanung, insbesondere eine valide Schätzung der benötigten Testlaufzeit für den Erfolg und ROI eines Testing-Programms ist, zeigt folgendes hypothetisches Szenario:",{"type":42,"content":2206},[2207],{"text":2208,"type":513},"Angenommen, du generierst im Jahr 100 Hypothesen und testest diese in einzelnen A/B-Tests. Nun nehmen wir zusätzlich an, dass von diesen 100 Hypothesen die Hälfte in Wahrheit zutreffen und die zugehörigen Varianten eigentliche Gewinner wären. Das bedeutet, du hättest in diesem Jahr 50 Gewinner und 50 Verlierer, welche wir durch A/B-Tests möglichst als solche erkennen wollen.",{"type":42,"content":2210},[2211],{"text":2212,"type":513},"Bei 50 Gewinnern bedeutet das:",{"type":42,"content":2214},[2215],{"text":2216,"type":513},"\u003Cfigure class=\"wp-block-table\">\u003Cp>\u003Ctable>\u003Ctbody> \u003Ctr> \u003Ctd>\u003Cstrong>Erzielte Power\u003C/strong>\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">90 %\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">80 %\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">60 %\u003C/td> \u003C/tr> \u003Ctr> \u003Ctd>\u003Cstrong>Erkannte Gewinner (True Positives)\u003C/strong>\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">45\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">40\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">30\u003C/td> \u003C/tr> \u003Ctr> \u003Ctd>\u003Cstrong>Falsch erkannte Gewinner (False Negatives)\u003C/strong>\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">5\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">10\u003C/td> \u003Ctd class=\"has-text-align-center\" data-align=\"center\">20\u003C/td> \u003C/tr> \u003C/tbody>\u003C/table> \u003C/p> \u003Cfigcaption class=\"wp-element-caption\">Tabelle 1: Je niedriger die Testpower, desto mehr tatsächliche Gewinner bleiben unerkannt.\u003C/figcaption>\u003C/figure>",{"type":42,"content":2218},[2219],{"text":2220,"type":513},"Das Beispiel verdeutlicht, welchen Effekt die tatsächlich erzielte Power auf unsere Effektivität hat, tatsächliche Gewinner als solche zu erkennen. Selbst bei einer Power von 90 %, was häufig zu ambitioniert ist und in der Praxis zu unnötig langen Testlaufzeiten führt, würden im Schnitt 5 echte Gewinner unerkannt bleiben. Der vermeintliche Standardwert für die Power von 80 % führt im Durchschnitt dazu, dass 10 überlegene Varianten, durch einen A/B-Test nicht erkannt worden wären. Wenn zusätzlich noch unsauber geplant wurde (bspw. durch eine Überschätzung des MEIs) und die tatsächliche Power dadurch auf 60 % sinkt, werden 20 der echten Gewinner zu keinem signifikanten Ergebnis führen und die potenziell gewinnbringenden Varianten nicht ausgerollt. Und das nur, weil die Testplanung zu stark von der Wirklichkeit abweicht.",{"type":42,"content":2222},[2223],{"text":2224,"type":513},"Ein vollständiger und gut dokumentierter Testplan gibt zudem Sicherheit beim Anlegen, Durchführen und Analysieren von Experimenten. Entwickler haben eine Vorgabe, welche Zielgruppen, welche Traffic-Verteilung und welche Zielmetriken angelegt werden müssen. Die berechnete Testlaufzeit und Stichprobengröße legt eindeutig fest, wann der Test abgeschaltet werden soll und die Dokumentation der statistischen Nullhypothese, sowie des gewünschten Konfidenzniveaus legt schon vor Testbeginn genau fest, wie die Auswertung der Testresultate zu erfolgen hat. Die Testplanung ermöglicht dadurch also auch eine reibungslose Übergabe von Tests an Kolleg:innen ohne große Absprachen.",{"type":933,"attrs":2226,"content":2227},{"level":935},[2228],{"text":2229,"type":513},"Wie erstelle ich ein statistisch valides Testdesign?",{"type":42,"content":2231},[2232,2236,2237,2244,2245],{"text":2233,"type":513,"marks":2234},"Mit unserem neuen",[2235],{"type":964},{"text":2068,"type":513},{"text":2238,"type":513,"marks":2239},"kostenlosen Testplaner-Tool",[2240,2241],{"type":964},{"type":1019,"attrs":2242},{"href":2243,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/tools/testplaner",{"text":2068,"type":513},{"text":2246,"type":513,"marks":2247},"kannst du alle relevanten Aspekte der Testplanung einheitlich, ansprechend und (auch für Nicht-Statistiker) leicht verständlich dokumentieren.",[2248],{"type":964},{"type":42,"content":2250},[2251],{"text":2252,"type":513},"Im Kern hat der Testplaner die Aufgabe, die Testlaufzeit für eine konkrete Hypothese zu errechnen. Einzigartig ist dabei die Möglichkeit, eine konkrete Nullhypothese zu definieren. Damit ist die Planung für Non-Inferiority-Tests oder Tests mit spezifischen Mindest-Uplifts genauso einfach möglich, wie für den normalen Standard-Case eines A/B-Tests auf einfache Überlegenheit.",{"type":42,"content":2254},[2255],{"text":2256,"type":513},"Zusätzlich kann eine individuelle Traffic-Verteilung auf die einzelnen Varianten berücksichtigt werden, wodurch automatisch auch eine Alpha-Fehler-Kumulierung bei mehreren Varianten berücksichtigt und dokumentiert wird. Ergänzend zu den Tipps direkt im Tool findest du zudem auf der Tool-Seite eine ausführliche Bedienungsanleitung mit Erklärungen aller Elemente.",{"type":42,"content":2258},[2259],{"text":2260,"type":513},"Viel Spaß beim Planen deiner Tests!",{"type":42,"content":2262},[2263],{"text":2264,"type":513},"Wenn du Fragen dazu hast oder Unterstützung bei deiner Testplanung brauchst, dann melde dich jederzeit gerne bei mir und meinen Kolleg:innen.",{"type":42,"content":2266},[2267,2271],{"text":2268,"type":513,"marks":2269},"Schon gewusst …?!",[2270],{"type":964},{"text":2272,"type":513}," Wir haben noch mehr Statistik- & Testing-Tools entwickelt, die uns tagtäglich dabei unterstützen, A/B-Tests richtig zu planen und valide auszuwerten. Nutze auch du sie, um deinen Optimierer-Alltag zu erleichtern und vertrauenswürdige Resultate zu erzielen.",{"type":42,"content":2274},[2275],{"text":2276,"type":513,"marks":2277},"Zur Tool-Übersicht",[2278],{"type":1019,"attrs":2279},{"href":2280,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.konversionskraft.de/tools",{"alt":1837,"src":2282,"name":30,"focus":30,"title":1837,"source":30,"filename":2282,"copyright":30,"fieldtype":49,"meta_data":2283,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/0w2rOS1H_solide-testplanung-blogpost-1620x500.png",{"alt":1837,"title":1837,"source":30,"copyright":30},[2285],"b348a411-f216-46f2-919b-f1dea40ec1c5","451fd8a8-e3fa-4c9e-a31f-e3ce43a13ea1",[2288,2302,2306,2310],{"name":2289,"created_at":2290,"published_at":2291,"updated_at":2292,"id":2293,"uuid":2286,"content":2294,"slug":2296,"full_slug":2297,"sort_by_date":118,"position":2298,"tag_list":2299,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":2300,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":2301,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"A/B-Testing","2025-10-15T15:37:26.765Z","2026-10-08T05:55:38.668Z","2026-10-08T05:55:38.683Z",101798079589699,{"_uid":2295,"component":1710},"5e6300bc-4c12-4474-989f-2407f81dd510","a-b-testing","de/_categories/a-b-testing",-220,[],"b7cb275d-1f95-495f-b237-934a8392e6f4",[],{"name":1704,"created_at":1705,"published_at":1706,"updated_at":1705,"id":1707,"uuid":1700,"content":2303,"slug":1711,"full_slug":1712,"sort_by_date":118,"position":1713,"tag_list":2304,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1716,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":2305,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1709,"component":1710},[],[],{"name":1720,"created_at":1721,"published_at":1706,"updated_at":1721,"id":1722,"uuid":1723,"content":2307,"slug":1726,"full_slug":1727,"sort_by_date":118,"position":1728,"tag_list":2308,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1730,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":2309,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1725,"component":1710},[],[],{"name":1746,"created_at":1747,"published_at":1706,"updated_at":1747,"id":1748,"uuid":1749,"content":2311,"slug":1752,"full_slug":1753,"sort_by_date":118,"position":1754,"tag_list":2312,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1756,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":2313,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1751,"component":1710},[],[],[],[2316,2319,2323],{"_uid":2317,"link":2318,"text":1765,"component":59},"dd407a7b-4f75-4c00-a5ea-c0582e7b28df",{"id":1763,"url":1764,"linktype":31,"fieldtype":32,"cached_url":1764},{"_uid":2320,"link":2321,"text":442,"component":59},"f3c94dcb-bb2d-40e9-8456-dfcdd317571b",{"id":1769,"url":1770,"linktype":31,"fieldtype":32,"cached_url":1770,"story":2322},{"name":442,"id":1772,"uuid":1769,"slug":440,"url":1770,"full_slug":1770,"_stopResolving":81},{"_uid":2324,"link":2325,"text":1837,"component":59},"d8ce9e47-ed91-4b56-81d8-37b35141da23",{"id":1841,"url":2326,"linktype":31,"fieldtype":32,"cached_url":2326,"story":2327},"de/blog/data-science/statistische-testplanung",{"name":1837,"id":1840,"uuid":1841,"slug":2328,"url":2329,"full_slug":2329,"_stopResolving":81},"statistische-testplanung","de/data-science/statistische-testplanung",[],"8",[],-120,[2335,2336],"statistik","Tools","f4672058-f062-47a9-afd4-00f531436d01","2023-08-09T09:19:36.000Z",[],{"name":2341,"created_at":2342,"published_at":905,"updated_at":2343,"id":2344,"uuid":2345,"content":2346,"slug":3159,"full_slug":3160,"sort_by_date":118,"position":3192,"tag_list":3193,"is_startpage":51,"parent_id":1787,"meta_data":118,"group_id":3194,"first_published_at":3195,"release_id":118,"lang":124,"path":118,"alternates":3196,"default_full_slug":118,"translated_slugs":118},"70% deiner A/B-Tests sind “underpowered”: So rockst du die Statistik","2025-10-15T16:26:00.758Z","2026-10-04T09:56:23.340Z",101810015302367,"32ca65ce-636f-4a92-b44e-fafed59d7c2a",{"seo":2347,"_uid":2350,"body":2351,"text":2349,"image":3084,"footer":30,"header":30,"authors":3087,"category":2286,"headline":2341,"component":1701,"categories":3089,"bottom_head":3145,"breadcrumbs":3146,"seo_noindex":51,"sidebar_cta":3161,"reading_time":3189,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":3190,"additional_slot":3191,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":2348,"plugin":911,"og_image":30,"og_title":2348,"description":2349,"twitter_image":30,"twitter_title":2348,"og_description":2349,"twitter_description":2349},"70% deiner A/B-Tests sind \"underpowered\": So rockst du die Statistik","Viele A/B-Tests werden zu früh abgebrochen und sind nicht valide. Steigere den Testerfolg und berechne Mindestlaufzeiten mit dem Sample Size Tool!","57423c1c-dfa7-4359-b4be-8fd387d6a515",[2352,2360,2372,2553,2564,2594,2605,2664,2674,2753,2764,2790,2801,2989,3000],{"_uid":2353,"text":2354,"component":1658},"fc9663c9-e12e-4dde-9386-c85ac25583d6",{"type":39,"content":2355},[2356],{"type":42,"content":2357},[2358],{"text":2359,"type":513},"Schon wieder ein Test ohne Uplift. Auch dieses Mal kannst du nicht verstehen was schief gelaufen ist? Und wie sollst du das bloß deinem Chef erklären?",{"_uid":2361,"image":2362,"caption":2365,"component":2371},"1feaa7fe-ecee-4ef6-854a-c5d43e03c120",{"alt":118,"src":2363,"name":30,"focus":30,"title":118,"source":30,"filename":2363,"copyright":30,"fieldtype":49,"meta_data":2364,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/Af8A9PEE_image-11-Kopie-1024x174.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":2366},[2367],{"type":42,"content":2368},[2369],{"text":2370,"type":513},"Quelle: konversionsKRAFT (2020)","richtext-image",{"_uid":2373,"text":2374,"component":1658},"b407a3d8-588c-4051-b470-e739b544b9e5",{"type":39,"content":2375},[2376,2381,2411,2422,2435,2450,2470,2485,2492,2516,2536,2543,2548],{"type":42,"attrs":2377,"content":2378},{"textAlign":118},[2379],{"text":2380,"type":513},"Es gibt viele Gründe warum der Uplift eines A/B-Tests ausbleibt:",{"type":1085,"content":2382},[2383,2390,2397,2404],{"type":1088,"content":2384},[2385],{"type":42,"attrs":2386,"content":2387},{"textAlign":118},[2388],{"text":2389,"type":513},"Ein Konzept, das an den Bedürfnissen der Zielgruppe vorbei geht",{"type":1088,"content":2391},[2392],{"type":42,"attrs":2393,"content":2394},{"textAlign":118},[2395],{"text":2396,"type":513},"Eine ungenaue oder gar keine richtige Testhypothese",{"type":1088,"content":2398},[2399],{"type":42,"attrs":2400,"content":2401},{"textAlign":118},[2402],{"text":2403,"type":513},"Eine unzureichende Qualität im Design. Technische Bugs in der Umsetzung.",{"type":1088,"content":2405},[2406],{"type":42,"attrs":2407,"content":2408},{"textAlign":118},[2409],{"text":2410,"type":513},"Und so weiter…",{"type":42,"attrs":2412,"content":2413},{"textAlign":118},[2414,2416,2420],{"text":2415,"type":513},"In unserem Optimierer-Alltag beobachten wir aber immer wieder ein ganz anderes Problem, das eigentlich nichts mit dem Konzept an sich zu tun hat: ",{"text":2417,"type":513,"marks":2418},"Falsche Statistik und Fehler im quantitativen Vorgehen",[2419],{"type":964},{"text":2421,"type":513}," beim A/B Testings führen zu invaliden Test und statistisch insignifikanten Ergebnissen oder unschlüssigen Tests.",{"type":42,"attrs":2423,"content":2424},{"textAlign":118},[2425,2427,2433],{"text":2426,"type":513},"Dabei könnte man das eigentlich ganz einfach verhindern, indem man sich an wichtige ",{"text":2428,"type":513,"marks":2429},"Grundregeln der Statistik beim A/B Testing",[2430],{"type":1019,"attrs":2431},{"href":2432,"uuid":118,"anchor":118,"target":1068,"linktype":136},"https://a.storyblok.com/f/328018/x/27a68e02bf/e-book_statistik-spickzettel-fuer-optimierer.pdf",{"text":2434,"type":513}," hält. Dazu gehört zum Beispiel, bereits vor dem Teststart die benötigte Testdauer zu bestimmen und den Test ausreichend lange laufen zu lassen.",{"type":42,"attrs":2436,"content":2437},{"textAlign":118},[2438,2440,2449],{"text":2439,"type":513},"Wie ein A/B-Test insgesamt abläuft, zeigt unser ",{"text":2441,"type":513,"marks":2442},"Leitfaden zum A/B-Testing",[2443],{"type":1019,"attrs":2444},{"href":2445,"uuid":312,"anchor":118,"target":1068,"linktype":31,"story":2446},"/de/ab-testing",{"name":2289,"id":2447,"uuid":312,"slug":2448,"url":313,"full_slug":313,"_stopResolving":81},226463371945680,"ab-testing",{"text":1442,"type":513},{"type":42,"attrs":2451,"content":2452},{"textAlign":118},[2453,2455,2461,2462,2468],{"text":2454,"type":513},"In einer Studie von 115 durchgeführten A/B Tests hat der erfahrene Marketer und Gründer von ",{"text":2456,"type":513,"marks":2457},"Analytics-Toolkit.com",[2458],{"type":1019,"attrs":2459},{"href":2460,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.analytics-toolkit.com",{"text":2068,"type":513},{"text":2463,"type":513,"marks":2464},"Georgi Georgiev",[2465],{"type":1019,"attrs":2466},{"href":2467,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://www.linkedin.com/in/geoprofi/",{"text":2469,"type":513}," herausgefunden, dass fast 70% dieser Tests “underpowered” waren (Mehr zum Begriff der Power findest du später im Artikel). Letztendlich bedeutet das, dass mehr als zwei Drittel der Tests eine unzureichende Stichprobengröße hatten und einfach zu früh abgeschaltet wurden um Uplifts valide nachweisen zu können. Diese Tests sind lapidar gesagt, eigentlich für die Tonne.",{"type":42,"attrs":2471,"content":2472},{"textAlign":118},[2473,2475,2484],{"text":2474,"type":513},"Wenn du mit einer Agentur testest, frag deshalb vor dem Start, wie sie Stichprobe und Laufzeit plant. Weitere Prüffragen stehen in unserem Ratgeber ",{"text":2476,"type":513,"marks":2477},"CRO-Agentur finden",[2478],{"type":1019,"attrs":2479},{"href":2480,"uuid":318,"anchor":118,"target":1068,"linktype":31,"story":2481},"/de/cro-agentur-finden",{"name":2476,"id":2482,"uuid":318,"slug":2483,"url":319,"full_slug":319,"_stopResolving":81},226605306714828,"cro-agentur-finden",{"text":1442,"type":513},{"type":42,"attrs":2486,"content":2487},{"textAlign":118},[2488],{"text":2489,"type":513,"marks":2490},"In diesem Beitrag erfährst du:",[2491],{"type":964},{"type":1161,"attrs":2493,"content":2494},{"order":1163},[2495,2502,2509],{"type":1088,"content":2496},[2497],{"type":42,"attrs":2498,"content":2499},{"textAlign":118},[2500],{"text":2501,"type":513},"Warum wir A/B-Tests häufig zu früh abbrechen",{"type":1088,"content":2503},[2504],{"type":42,"attrs":2505,"content":2506},{"textAlign":118},[2507],{"text":2508,"type":513},"Wie du statistische Testpower sicherstellst",{"type":1088,"content":2510},[2511],{"type":42,"attrs":2512,"content":2513},{"textAlign":118},[2514],{"text":2515,"type":513},"Wie dir das Sample Size Tool hilft, bessere Tests zu starten",{"type":42,"attrs":2517,"content":2518},{"textAlign":118},[2519,2523,2525,2534],{"text":2520,"type":513,"marks":2521},"📺 Keine Angst vor der Kultur des Experimentierens!",[2522],{"type":964},{"text":2524,"type":513}," Oft ist es sehr hilfreich, sich mit anderen Fach- und Führungskräften auszutauschen, um häufig auftretende Fehler im A/B-Testing zu vermeiden. Das Ambassador Programm bietet dir eine solche Plattform. Neben regelmäßigen Meetups mit der Community kannst du dein Wissen zudem durch lehrreiche Videos erweitern. ",{"text":2526,"type":513,"marks":2527},"Bewirb dich jetzt",[2528],{"type":1019,"attrs":2529},{"href":2530,"uuid":389,"anchor":118,"target":1068,"linktype":31,"story":2531},"/de/growth-ambassador-community",{"name":391,"id":2532,"uuid":389,"slug":2533,"url":390,"full_slug":390,"_stopResolving":81},62086251701816,"growth-ambassador-community",{"text":2535,"type":513},", um dein digitales Wachstumspotenzial auszuschöpfen!",{"type":933,"attrs":2537,"content":2538},{"level":935,"textAlign":118},[2539],{"text":2540,"type":513,"marks":2541},"Ein typischer A/B-Test Fail aus der Praxis",[2542],{"type":964},{"type":42,"attrs":2544,"content":2545},{"textAlign":118},[2546],{"text":2547,"type":513},"Was mit einem A/B Test passieren kann, wenn man sich nicht an eine ausreichende Testlaufzeit hält, zeigt folgendes Beispiel:",{"type":42,"attrs":2549,"content":2550},{"textAlign":118},[2551],{"text":2552,"type":513},"Angenommen, ein Test läuft auf der Website und die Variante zeigt einen Uplift von 10% auf die Conversion Rate. Die Ergebnisse sind nach zehn Tagen signifikant (Konfidenz >95%) und der Conversion Optimierer möchte den Test abschalten.",{"_uid":2554,"image":2555,"caption":2559,"component":2371},"3310332a-fc37-427a-8dbf-4df890e75c3e",{"alt":2556,"src":2557,"name":30,"focus":30,"title":118,"source":30,"filename":2557,"copyright":30,"fieldtype":49,"meta_data":2558,"is_external_url":81},"laufzeit10tage","https://storage.googleapis.com/kk-website-assets/yv82dxGS_laufzeit10tage.png",{"alt":2556,"title":118,"source":30,"copyright":30},{"type":39,"content":2560},[2561],{"type":42,"content":2562},[2563],{"text":2370,"type":513},{"_uid":2565,"text":2566,"component":1658},"968e9d33-968e-4393-b651-3a68a756a815",{"type":39,"content":2567},[2568,2572,2576,2580,2590],{"type":42,"content":2569},[2570],{"text":2571,"type":513},"Um ganz sicher zu gehen, hält er nochmal Rücksprache mit der Kollegin aus dem Data Team.",{"type":42,"content":2573},[2574],{"text":2575,"type":513},"Die Kollegin erinnert ihn daran, dass sie vor dem Teststart ja gemeinsam eine Schätzung der benötigten Dauer durchgeführt haben. Basierend darauf ergab sich eine benötigte Testlaufzeit von 4 Wochen, welche noch längst nicht erreicht ist.",{"type":42,"content":2577},[2578],{"text":2579,"type":513},"Zudem rät sie davon ab, regelmäßig ins Tool zu schauen bevor diese Grenze erreicht ist. Das erhöht die Fehlerrate enorm, also eine höhere Wahrscheinlichkeit, zufällig einen Uplift zu finden, der in Wahrheit gar nicht existiert und nur zufällig entstanden ist.",{"type":42,"content":2581},[2582,2584,2588],{"text":2583,"type":513},"Der Conversion Manager willigt ein: ",{"text":2585,"type":513,"marks":2586},"“Dann warten wir halt noch ein paar Tage. Was soll sich schon ändern”",[2587],{"type":2041},{"text":2589,"type":513},", denkt er sich….",{"type":42,"content":2591},[2592],{"text":2593,"type":513},"Ein paar Tage später dann die Ernüchterung. Tatsächlich ist der Effekt immer weiter zurückgegangen und die CTBC („Chance to Beat Control“) auf unter 80% gesunken.",{"_uid":2595,"image":2596,"caption":2600,"component":2371},"3266ce9e-3e28-493a-a9c3-a9f2765c67a3",{"alt":2597,"src":2598,"name":30,"focus":30,"title":118,"source":30,"filename":2598,"copyright":30,"fieldtype":49,"meta_data":2599,"is_external_url":81},"laufzeit18Tage","https://storage.googleapis.com/kk-website-assets/fAT19xnw_laufzeit18Tage.png",{"alt":2597,"title":118,"source":30,"copyright":30},{"type":39,"content":2601},[2602],{"type":42,"content":2603},[2604],{"text":2370,"type":513},{"_uid":2606,"text":2607,"component":1658},"783e05e0-16db-4d8a-8239-7892c78e338e",{"type":39,"content":2608},[2609,2616,2621,2640,2645,2650,2655],{"type":42,"attrs":2610,"content":2611},{"textAlign":118},[2612],{"text":2613,"type":513,"marks":2614},"Was ist bei dem Test passiert?",[2615],{"type":964},{"type":42,"attrs":2617,"content":2618},{"textAlign":118},[2619],{"text":2620,"type":513},"Was wir in der Praxis oft beobachten ist folgendes: Während der Test läuft, wird immer wieder ein Blick ins Tool geworfen ob bereits ein signifikanter Uplift vorliegt. Oft findet dieser Blick statt, bevor die Mindestlaufzeit erreicht wurde oder es mangelt überhaupt an solch einer Schätzung. Sobald ein signifikanter Uplift vorliegt, wird der Test vorzeitig abgeschaltet.",{"type":42,"attrs":2622,"content":2623},{"textAlign":118},[2624,2626,2638],{"text":2625,"type":513},"Beim ",{"text":2627,"type":513,"marks":2628},"frequentistischen",[2629],{"type":1019,"attrs":2630},{"href":2631,"uuid":2632,"anchor":118,"target":1068,"linktype":31,"story":2633},"/de/data-science/signifikanz-im-testing-tool","962637b1-6e4e-4c11-80f3-b972cf8f9316",{"name":2634,"id":2635,"uuid":2632,"slug":2636,"url":2637,"full_slug":2637,"_stopResolving":81},"Testing Insights: Was steckt hinter der Signifikanz in meinem Testing Tool?",101807704907648,"signifikanz-im-testing-tool","de/data-science/signifikanz-im-testing-tool",{"text":2639,"type":513}," Ansatz zum A/B Testing ist eine wichtige Voraussetzung für valide Ergebnisse, dass man VOR dem Test eine möglichst genaue Schätzung des zu erwartenden Impacts vornimmt und so zu einer Abschätzung der Testlaufzeit findet.",{"type":42,"attrs":2641,"content":2642},{"textAlign":118},[2643],{"text":2644,"type":513},"Der regelmäßige Blick in das Tool, vor Ablauf der Testdauer, ist hier grundsätzlich zu vermeiden!",{"type":42,"attrs":2646,"content":2647},{"textAlign":118},[2648],{"text":2649,"type":513},"Dadurch erhöht sich die Fehlerwahrscheinlichkeit, zwischendurch einen signifikanten Uplift zu beobachten der rein zufällig entstanden ist. Wenn man dann den Test abschaltet, identifiziert man fälschlicherweise einen Uplift, der aber eigentlich gar keiner ist.",{"type":42,"attrs":2651,"content":2652},{"textAlign":118},[2653],{"text":2654,"type":513},"Im Beispiel beruhte der zwischenzeitliche Effekt von 10% und die hohe CTBC nicht auf einem validen Ergebnis mit ausreichend langer Testlaufzeit sondern waren nur eine zufällige, kurzweilige Erscheinung die aber nicht auf eine signifikante Verbesserung der tatsächlichen Conversion Rate schließen ließ.",{"type":42,"attrs":2656,"content":2657},{"textAlign":118},[2658,2662],{"text":2659,"type":513,"marks":2660},"Anmerkung:",[2661],{"type":964},{"text":2663,"type":513}," Dieser Fall kann natürlich auch andersherum eintreten: Während des Tests beobachtet man zwar einen Uplift, der aber nicht signifikant erst. Erst nach Ablauf der berechneten Testdauer wird das Ergebnis signifikant.",{"_uid":2665,"image":2666,"caption":2669,"component":2371},"4272fca3-72ac-45d0-8b6e-776f1411aba2",{"alt":118,"src":2667,"name":30,"focus":30,"title":118,"source":30,"filename":2667,"copyright":30,"fieldtype":49,"meta_data":2668,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/hD2UaJgo_Bildschirmfoto-2020-02-24-um-11.37.51-820x456.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":2670},[2671],{"type":42,"content":2672},[2673],{"text":2370,"type":513},{"_uid":2675,"text":2676,"component":1658},"8f811df6-22ee-448c-94da-d415b5002bbd",{"type":39,"content":2677},[2678,2690,2697,2701,2705,2711,2717,2721,2733,2749],{"type":42,"content":2679},[2680,2685,2686],{"text":2681,"type":513,"marks":2682},"Fazit:",[2683,2684],{"type":2041},{"type":964},{"text":2068,"type":513},{"text":2687,"type":513,"marks":2688},"Führe eine Testdauerschätzung durch, BEVOR du den Test startest und vermeide, ständig in das Tool zu schauen bevor die Mindestlaufzeit erreicht ist. Es sei denn, es gibt gute Gründ__e das zu tun: Ein Blick ins Tool ist immer dann ratsam, wenn man einen starken Downcast beobachtet, der geschäftsschädigend sein kann und dazu führt, dass man den Test frühzeitig abschalten sollte.",[2689],{"type":2041},{"type":933,"attrs":2691,"content":2692},{"level":935},[2693],{"text":2694,"type":513,"marks":2695},"Statistische Testpower: Wie du den Uplift deiner Variante sicher nachweist",[2696],{"type":964},{"type":42,"content":2698},[2699],{"text":2700,"type":513},"Um diese Fehler zu vermeiden, muss man vor dem Teststart eine saubere Abschätzung der benötigten Testlaufzeit durchführen.",{"type":42,"content":2702},[2703],{"text":2704,"type":513},"Man spricht in diesem Zusammenhang auch von dem Begriff der statistischen Testpower:",{"type":42,"content":2706},[2707],{"text":2708,"type":513,"marks":2709},"Die statistische Power ist die Wahrscheinlichkeit mittels eines Experiments einen Uplift nachweisen zu können, wenn dieser tatsächlich auch existiert. Die Power wird daher auch als Teststärke bezeichnet und gibt an, wie gut ein Test in der Lage ist, einen Unterschied signifikant nachzuweisen.",[2710],{"type":2041},{"type":42,"content":2712},[2713],{"text":2714,"type":513,"marks":2715},"Wenn die Power eines Tests mindestens 80% beträgt, würde man von einem starken Test sprechen.",[2716],{"type":964},{"type":42,"content":2718},[2719],{"text":2720,"type":513},"Der Wert von 80% ist ein Standardwert, den man für das Power-Level beim A/B Testing verwendet.",{"type":42,"content":2722},[2723,2725,2731],{"text":2724,"type":513},"Das bedeutet, dass die Wahrscheinlichkeit bei 80% liegt, einen Uplift nachzuweisen, der auch tatsächlich existiert. Im Umkehrschluss besteht also immer noch ein 20 %iges Risiko, dass wir einen Uplift der in Wirklichkeit existiert nicht nachweisen. Vielleicht hast du schon von dem sogenannten „Beta-Fehler” oder einem „False Negative“ gehört (",{"text":2726,"type":513,"marks":2727},"Fehler 2. Art",[2728],{"type":1019,"attrs":2729},{"href":2730,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://de.wikipedia.org/wiki/Fehler_1._und_2._Art",{"text":2732,"type":513},").",{"type":42,"content":2734},[2735,2737,2741,2743,2748],{"text":2736,"type":513},"Ist die Power des Experiments zu niedrig, laufen wir Gefahr, reelle Uplifts nicht zu finden. Noch schlimmer: ",{"text":2738,"type":513,"marks":2739},"Wir schalten ein Experiment ab, weil es einen signifikanten Gewinner ausweist, der in Wirklichkeit gar keiner ist.",[2740],{"type":964},{"text":2742,"type":513}," Wenn so etwas auftritt, spricht man von einem „Alpha-Fehler“ oder einem „False-Positive“ (",{"text":2744,"type":513,"marks":2745},"Fehler 1. Art",[2746],{"type":1019,"attrs":2747},{"href":2730,"uuid":118,"anchor":118,"target":118,"linktype":136},{"text":2732,"type":513},{"type":42,"content":2750},[2751],{"text":2752,"type":513},"Hier eine kleine Merkhilfe wie du die beiden Fehlerarten beim statistischen Testing unterscheiden kannst:",{"_uid":2754,"image":2755,"caption":2758,"component":2371},"2e8dbfb5-3674-47aa-a016-10240ea5dab7",{"alt":118,"src":2756,"name":30,"focus":30,"title":118,"source":30,"filename":2756,"copyright":30,"fieldtype":49,"meta_data":2757,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/NTg6ZoVK_Bildschirmfoto-2020-02-24-um-11.44.45-820x446.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":2759},[2760],{"type":42,"content":2761},[2762],{"text":2763,"type":513},"Quelle: MatheGuru.com (2020)",{"_uid":2765,"text":2766,"component":1658},"e899f420-0292-423c-bca0-f905c027a27f",{"type":39,"content":2767},[2768,2773,2777],{"type":933,"attrs":2769,"content":2770},{"level":935},[2771],{"text":2772,"type":513},"Berechne die benötigte Testdauer mit unserem Sample Size Tool",{"type":42,"content":2774},[2775],{"text":2776,"type":513},"Um die benötigte Testdauer zu berechnen, braucht es eine statistische Formel auf Basis der oben beschriebenen Power-Betrachtung.",{"type":42,"content":2778},[2779,2781,2788],{"text":2780,"type":513},"Wir haben dafür ein ",{"text":2782,"type":513,"marks":2783},"Tool",[2784],{"type":1019,"attrs":2785},{"href":2786,"title":2787},"https://www.konversionskraft.de/tools/testlaufzeitrechner","Zum Testlaufzeitrechner von konversionsKRAFT",{"text":2789,"type":513}," entwickelt, das dir hilft, deine Uplifts sicher nachzuweisen und eine bessere Einschätzung für den nachweisbaren Effekt vornehmen zu können.",{"_uid":2791,"image":2792,"caption":2795,"component":2371},"16f77a85-3944-4ba4-97f2-810af0bd90c5",{"alt":118,"src":2793,"name":30,"focus":30,"title":118,"source":30,"filename":2793,"copyright":30,"fieldtype":49,"meta_data":2794,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/ppeb_Qcd_Planung-eines-frequentistischen-AB-Tests-konversionsKRAFT-2024-820x383.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":2796},[2797],{"type":42,"content":2798},[2799],{"text":2800,"type":513},"Planung eines frequentistischen A/B-Tests (konversionsKRAFT 2024)",{"_uid":2802,"text":2803,"component":1658},"59a59d29-d9e4-4f4a-8850-6a99c55e9dd7",{"type":39,"content":2804},[2805,2809,2822,2828,2834,2847,2853,2859,2884,2890,2905,2909,2913,2920,2925,2929,2933,2943,2947,2952,2962,2968,2972,2976,2981,2985],{"type":42,"content":2806},[2807],{"text":2808,"type":513},"Zur Berechnung der Testdauer benötigt das Tool folgende Informationen von dir, welche du auf der linken Seite in die Felder eingibst:",{"type":1085,"attrs":2810,"content":2811},{"tight":51},[2812],{"type":1088,"content":2813},[2814],{"type":42,"content":2815},[2816,2820],{"text":2817,"type":513,"marks":2818},"Visitors pro Monat",[2819],{"type":964},{"text":2821,"type":513}," – Die durchschnittliche monatliche Anzahl der Unique Visitors auf dem Seitentyp, der vertestet werden soll.",{"type":42,"content":2823},[2824],{"text":2825,"type":513,"marks":2826},"Planst du zum Beispiel einen Test auf der Produktdetailseite, so verwendet man hier die Anzahl der unique Visitors pro Monat, die die Produktdetailseite besucht haben.",[2827],{"type":2041},{"type":42,"content":2829},[2830],{"text":2831,"type":513,"marks":2832},"Wir empfehlen hier einen Durchschnittswert über mehrere Monate in der Berechnung zu bilden, um Einflüsse von Werbekampagnen oder saisonale Schwankungen abzufangen.",[2833],{"type":2041},{"type":1085,"attrs":2835,"content":2836},{"tight":51},[2837],{"type":1088,"content":2838},[2839],{"type":42,"content":2840},[2841,2845],{"text":2842,"type":513,"marks":2843},"Aktuelle Conversion Rate (in %) –",[2844],{"type":964},{"text":2846,"type":513}," Der Anteil der Visitors auf dem Seitentyp, der vertestet werden soll, mit mindestens einer Conversion an allen Visitors auf dem Seitentyp.",{"type":42,"content":2848},[2849],{"text":2850,"type":513,"marks":2851},"Wichtig ist, dass sich die Conversion Rate auf die Visitors bezieht, die die zu vertestende Seite besucht haben. Für den Test auf der Produktdetailseite verwendest du dann die Conversion Rate der Besucher, die überhaupt eine Produktdetailseite besucht haben (Tipp: Für die Berechnung empfehlen wir, ein entsprechendes Segment im Web Analytics Tool anzulegen, in dem die relevante Besucherbasis für den Seitentyp erfasst wird).",[2852],{"type":2041},{"type":42,"content":2854},[2855],{"text":2856,"type":513,"marks":2857},"Auch hier empfehlen wir, Werte über mehrere Monate zu einer durchschnittlichen Conversion Rate zu aggregieren.",[2858],{"type":2041},{"type":1085,"attrs":2860,"content":2861},{"tight":51},[2862,2872],{"type":1088,"content":2863},[2864],{"type":42,"content":2865},[2866,2870],{"text":2867,"type":513,"marks":2868},"Die Anzahl der Varianten",[2869],{"type":964},{"text":2871,"type":513}," – Das ist die Anzahl der Varianten (inklusive Control), die vertestet werden sollen.",{"type":1088,"content":2873},[2874],{"type":42,"content":2875},[2876,2878,2882],{"text":2877,"type":513},"Die Eingaben zum ",{"text":2879,"type":513,"marks":2880},"Konfidenzlevel und Power",[2881],{"type":964},{"text":2883,"type":513}," sind standardmäßig zur Berechnung auf 95 % für das Konfidenzlevel und 80% für die Power eingestellt. Du kannst diese natürlich trotzdem anpassen wenn du andere Werte verwenden möchtest.",{"type":42,"content":2885},[2886],{"text":2887,"type":513,"marks":2888},"Anmerkung: Die Berechnungen zur benötigten Testlaufzeit basieren auf einem einseitigen Hypothesentest.",[2889],{"type":2041},{"type":1085,"attrs":2891,"content":2892},{"tight":51},[2893],{"type":1088,"content":2894},[2895],{"type":42,"content":2896},[2897,2899,2903],{"text":2898,"type":513},"Das Feld ",{"text":2900,"type":513,"marks":2901},"Conversion-Wert in EUR ist ein optionales Feld",[2902],{"type":964},{"text":2904,"type":513},", das dir helfen soll, eine bessere Einschätzung des zu erwartenden Uplifts vorzunehmen und deinen Test besser priorisieren zu können. Es zeigt dir, welchen zusätzlichen Umsatz das Testkonzept auf Basis deiner Eingaben und eines bestimmten Uplifts generiert, wenn du das erfolgreiche Testkonzept ausrollen würdest.",{"type":42,"content":2906},[2907],{"text":2908,"type":513},"Das Feld musst du nicht zwingend ausfüllen um eine Testdauerschätzung durchführen zu können.",{"type":42,"content":2910},[2911],{"text":2912,"type":513},"Wir haben mehrere statistische Tools entwickelt, die uns tagtäglich dabei unterstützen zahlreiche A/B-Tests richtig zu planen und valide auszuwerten. Wir teilen gern unsere Schatzkiste mit dir, die deinen Optimierer-Alltag erleichtern wird und dabei hilft, vertrauensvolle Ergebnisse zu liefern.",{"type":42,"content":2914},[2915],{"text":2916,"type":513,"marks":2917},"Hier geht’s zur Tool-Schatzkiste",[2918],{"type":1019,"attrs":2919},{"href":2280,"uuid":118,"anchor":118,"target":118,"linktype":136},{"type":933,"attrs":2921,"content":2922},{"level":935},[2923],{"text":2924,"type":513},"A/B-Testing mit dem Sample Size Tool richtig interpretieren",{"type":42,"content":2926},[2927],{"text":2928,"type":513},"Wie dir sicher schon aufgefallen ist, benötigt das Tool keine Eingabe von dir, welchen Uplift du eigentlich aus dem Test erwartest, obwohl dies doch eigentlich eine relevante Einflussgröße aus die Testlaufzeit ist. In vielen online verfügbaren Tools wird dieser Wert als Input vom Nutzer gefordert um eine Testdauerberechnung durchführen zu können.",{"type":42,"content":2930},[2931],{"text":2932,"type":513},"Wir möchten dir diese schwierige Einschätzung ein Stück weit abnehmen, indem das Tool dir in der Ausgabemaske rechts unterschiedliche Testdauerschätzungen für unterschiedliche Uplift-Szenarien anzeigt.",{"type":42,"content":2934},[2935,2937,2941],{"text":2936,"type":513},"Die dargestellten Uplifts bezeichnen den ",{"text":2938,"type":513,"marks":2939},"minimal nachweisbaren Uplift (MDE = Minimum detectable Effekt)",[2940],{"type":964},{"text":2942,"type":513}," auf Basis deiner Eingaben. Er gibt an, welchen Uplift du nachweisen kannst, wenn der Test zum Beispiel 1, 2 oder 3 Wochen laufen kann. Andersherum: Für unterschiedliche Uplifts die du nachweisen möchtest, wird die entsprechende benötigte Testlaufzeit (in vollen Wochen) bestimmt.",{"type":42,"content":2944},[2945],{"text":2946,"type":513},"Leider können wir dir damit die Einschätzung, wie hoch dieser nachweisbare Uplift denn nun eigentlich ist, nicht ganz abnehmen. Folgende zwei Fragestellungen können dir aber bei der Schätzung helfen:",{"type":933,"attrs":2948,"content":2949},{"level":1073},[2950],{"text":2951,"type":513},"1. Welche Uplifts sind realistisch?",{"type":42,"content":2953},[2954,2956,2960],{"text":2955,"type":513},"Das Tool gibt dir die Möglichkeit, unterschiedliche ",{"text":2957,"type":513,"marks":2958},"Uplift-Szenarien",[2959],{"type":964},{"text":2961,"type":513}," durchzurechnen: Was wäre ein Best-Case und was ein Worst-Case-Szenario?",{"type":42,"content":2963},[2964],{"text":2965,"type":513,"marks":2966},"Wir empfehlen dabei, den Uplift, den man erzielen kann, eher konservativer einzuschätzen um sicherzugehen, dass die Testdauer auch sicher ausreicht, wenn er doch etwas geringer ausfällt als du hoffst.",[2967],{"type":2041},{"type":42,"content":2969},[2970],{"text":2971,"type":513},"Oft ist es auch so, dass die Testdauer die man zur Verfügung hat, der begrenzende Faktor ist. Aussagen wie: “Wir müssen in 2 Wochen Ergebnisse haben” hat wahrscheinlich jeder Optimierer schon einmal gehört.",{"type":42,"content":2973},[2974],{"text":2975,"type":513},"Durch diese Betrachtungsweise in unserem Tool, bekommt man eine bessere Einschätzung, ob der Uplift, den man in zwei Wochen statistisch nachweisen kann, mit dem Testkonzept überhaupt realistisch zu erreichen ist. Mit einer sauberen Testdauerberechnung hat man eine gute Argumentationsgrundlage, um den Zeitraum zu verlängern, das Konzept zu überarbeiten oder sogar ein anderes, erfolgsversprechenderes Konzept in der Priorisierung vorzuziehen.",{"type":933,"attrs":2977,"content":2978},{"level":1073},[2979],{"text":2980,"type":513},"2. Wann ist ein Uplift im A/B-Test überhaupt Business relevant?",{"type":42,"content":2982},[2983],{"text":2984,"type":513},"Der minimal nachweisbare Uplift ist derjenige Uplift, den man auf Basis einer bestimmten Testdauer mindestens nachweisen möchte, um a) ein statistisch valides Ergebnis zu erzielen und b) zu zeigen, dass der Test ein Erfolg gewesen ist und man das Konzept nun ausrollen würde.",{"type":42,"content":2986},[2987],{"text":2988,"type":513},"Abgesehen von der statistischen Validität; ab wann würde man eigentlich sagen, dass ein Test aus Business Sicht erfolgreich war?",{"_uid":2990,"image":2991,"caption":2994,"component":2371},"33fabc89-5c26-4922-81ad-f5c586bbbaaa",{"alt":118,"src":2992,"name":30,"focus":30,"title":118,"source":30,"filename":2992,"copyright":30,"fieldtype":49,"meta_data":2993,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/gEeEK7lF_Planung-eines-frequentistischen-AB-Tests-mit-Wert-konversionsKRAFT-2024-820x377.png",{"alt":118,"title":118,"source":30,"copyright":30},{"type":39,"content":2995},[2996],{"type":42,"content":2997},[2998],{"text":2999,"type":513},"Planung eines frequentistischen A/B-Tests mit Wert (konversionsKRAFT 2024",{"_uid":3001,"text":3002,"component":1658},"81bc7c17-baf6-42d8-a3c7-de6cea24d3fc",{"type":39,"content":3003},[3004,3008,3012,3016,3020,3024,3028,3032,3036,3046,3051],{"type":42,"content":3005},[3006],{"text":3007,"type":513},"Dafür ist es hilfreich, im Vorfeld eine Kosten-Nutzen-Betrachtung im Rahmen der Testplanung einfließen zu lassen und sich die Frage zu stellen: Welchen zusätzlichen Umsatz müsste das Konzept eigentlich erzielen, um die Kosten der Implementierung mindestens zu decken oder im besten Fall darüber hinaus signifikanten Gewinnzuwachs zu generieren?",{"type":42,"content":3009},[3010],{"text":3011,"type":513},"Wenn du dich schon einmal mit dem Thema ROI – Berechnungen von A/B Tests beschäftigt hast, weißt du vielleicht, dass es methodisch schwierig ist, den Wert eines Uplifts aus einem A/B Test in die Zukunft zu prognostizieren.",{"type":42,"content":3013},[3014],{"text":3015,"type":513},"Um aber überhaupt eine Schätzung des Umsatzwertes vornehmen zu können, wählen wir in diesem Rahmen einen pragmatischen Ansatz:",{"type":42,"content":3017},[3018],{"text":3019,"type":513},"Zum Einen werden dir im Tool die zusätzlichen Conversions angezeigt, die du auf Basis eines bestimmten Uplifts pro Monat erzielst, wenn das Testkonzept ausgerollt werden würde (Der Einfachheit halber werden hier keine Gewöhnungseffekte in Form von “Abschreibungsfaktoren” inkludiert, die den Uplift über die Zeit hinweg schmälern).",{"type":42,"content":3021},[3022],{"text":3023,"type":513},"Wenn du zusätzlich im Tool die optionale Angabe machst, wie hoch der Wert einer Conversion (in EUR) auf deiner Website aktuell ist (auf Basis einer monatlichen Durchschnittsbetrachtung), bekommst du im Ausgabefenster Informationen zur monetären Bewertung des Uplifts.",{"type":42,"content":3025},[3026],{"text":3027,"type":513},"Für unterschiedliche Uplift Szenarien wird dir angezeigt, welchen zusätzlichen Umsatz du erzielen würdest, wenn ein bestimmter Uplift eintritt und das Konzept auf alle Nutzer ausgerollt werden würde (auch hier gelten die vereinfachten ROI-Berechnungsregeln).",{"type":42,"content":3029},[3030],{"text":3031,"type":513},"Die zusätzlichen Conversions bzw. der zusätzliche Revenue dienen als Hilfestellung dafür, Kosten-Nutzen-Betrachtungen bereits bei der Testplanung einzubeziehen und eine vereinfachte ROI-Betrachtung durchzuführen. Indem die Business Relevanz schon in die Test-Roadmap-Planung mit einfließt, lassen sich Tests besser priorisieren.",{"type":42,"content":3033},[3034],{"text":3035,"type":513},"Unser Tool kann dir durch diese Betrachtungsweise helfen, wichtige Fragen bei der Testplanung besser einzuschätzen und zu beantworten. Die Entscheidung, welche Uplifts wirklich realistisch sind, können wir damit final nicht genau beantworten. A/B Testing ist letztendlich die Anwendung des Konzepts “Lernen, Validieren und Anpassen”. Das gilt auch bei der Testplanung. Je mehr Erfahrung man hierbei sammelt, desto hochwertiger werden die Tests.",{"type":950,"content":3037},[3038],{"type":42,"content":3039},[3040,3042,3044],{"text":3041,"type":513},"„Es ist besser, unvollkommene Entscheidungen durchzuführen, als beständig nach vollkommenen Entscheidungen zu suchen, die es niemals geben wird.”",{"type":3043},"hard_break",{"text":3045,"type":513},"– Charles de Gaulle",{"type":933,"attrs":3047,"content":3048},{"level":935},[3049],{"text":3050,"type":513},"5 Schritte für eine erfolgreiche Testplanung",{"type":1161,"attrs":3052,"content":3053},{"order":1163,"tight":51},[3054,3060,3066,3072,3078],{"type":1088,"content":3055},[3056],{"type":42,"content":3057},[3058],{"text":3059,"type":513},"Gehe unterschiedliche Uplift-Szenarien durch und versuche so gut es geht eine realistische Einschätzung vorzunehmen. Plane besser konservativ als zu positiv.",{"type":1088,"content":3061},[3062],{"type":42,"content":3063},[3064],{"text":3065,"type":513},"Definiere für dich, wie viel Uplift deine Variante mindestens erreichen muss, damit du von einem erfolgreichen Test sprichst.",{"type":1088,"content":3067},[3068],{"type":42,"content":3069},[3070],{"text":3071,"type":513},"Eine Kosten-Nutzen Analyse hilft dir dabei herauszufinden, ab welchem Uplift ein Test wirklich erfolgreich ist.",{"type":1088,"content":3073},[3074],{"type":42,"content":3075},[3076],{"text":3077,"type":513},"Berechne die Mindestlaufzeit und behalte diese fest im Auge.",{"type":1088,"content":3079},[3080],{"type":42,"content":3081},[3082],{"text":3083,"type":513},"Schalte den Test erst ab, wenn du die Mindestlaufzeit erreicht hast.",{"alt":2341,"src":3085,"name":30,"focus":30,"title":2341,"source":30,"filename":3085,"copyright":30,"fieldtype":49,"meta_data":3086,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/buU3lWX4_post-2-1620x500.jpg",{"alt":2341,"title":2341,"source":30,"copyright":30},[3088],"b1e9fb36-53ba-46c6-9df5-477eaee9d271",[3090,3094,3106,3120,3133,3137,3141],{"name":2289,"created_at":2290,"published_at":2291,"updated_at":2292,"id":2293,"uuid":2286,"content":3091,"slug":2296,"full_slug":2297,"sort_by_date":118,"position":2298,"tag_list":3092,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":2300,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3093,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2295,"component":1710},[],[],{"name":3095,"created_at":3096,"published_at":1706,"updated_at":3096,"id":3097,"uuid":3098,"content":3099,"slug":3101,"full_slug":3102,"sort_by_date":118,"position":494,"tag_list":3103,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":3104,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3105,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Conversion Analysen","2025-10-13T20:17:46.577Z",101159184727040,"6f75b37f-06c3-4a3a-bfe6-09e9700bcc50",{"_uid":3100,"component":1710},"ab193dc1-9f27-43af-8851-e06db679cba6","analysen","de/_categories/analysen",[],"a5ad7910-90ad-4fb5-b67d-700b3ebc9037",[],{"name":58,"created_at":3107,"published_at":3108,"updated_at":3109,"id":3110,"uuid":3111,"content":3112,"slug":3114,"full_slug":3115,"sort_by_date":118,"position":3116,"tag_list":3117,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":3118,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3119,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"2025-10-13T20:20:52.315Z","2026-10-08T05:47:03.890Z","2026-10-08T05:47:03.903Z",101159945518502,"364d2727-911e-41c4-b15c-1205edcf07ef",{"_uid":3113,"component":1710},"bfad03a7-f1bb-465f-b8c8-f0265d8805ad","conversion-optimierung","de/_categories/conversion-optimierung",-100,[],"fa5d4a3d-d28d-4392-bcf9-0a27d7ee893e",[],{"name":3121,"created_at":3122,"published_at":1706,"updated_at":3122,"id":3123,"uuid":3124,"content":3125,"slug":3127,"full_slug":3128,"sort_by_date":118,"position":3129,"tag_list":3130,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":3131,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3132,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Conversion Tools","2025-10-15T15:49:48.693Z",101801118559674,"e3c30648-101e-4e4d-bdab-af6f4422677a",{"_uid":3126,"component":1710},"4e72548c-4236-42e8-975f-65e8c73c35fb","conversion-tools","de/_categories/conversion-tools",-290,[],"e77b6435-62b6-4b6d-8c2f-9f78e9a2b15f",[],{"name":1704,"created_at":1705,"published_at":1706,"updated_at":1705,"id":1707,"uuid":1700,"content":3134,"slug":1711,"full_slug":1712,"sort_by_date":118,"position":1713,"tag_list":3135,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1716,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3136,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1709,"component":1710},[],[],{"name":1720,"created_at":1721,"published_at":1706,"updated_at":1721,"id":1722,"uuid":1723,"content":3138,"slug":1726,"full_slug":1727,"sort_by_date":118,"position":1728,"tag_list":3139,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1730,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3140,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1725,"component":1710},[],[],{"name":1746,"created_at":1747,"published_at":1706,"updated_at":1747,"id":1748,"uuid":1749,"content":3142,"slug":1752,"full_slug":1753,"sort_by_date":118,"position":1754,"tag_list":3143,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1756,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3144,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1751,"component":1710},[],[],[],[3147,3150,3154],{"_uid":3148,"link":3149,"text":1765,"component":59},"a1a1b98e-75cf-4256-97ec-c541b543da1e",{"id":1763,"url":1764,"linktype":31,"fieldtype":32,"cached_url":1764},{"_uid":3151,"link":3152,"text":442,"component":59},"6db2839b-13d5-4205-8838-97a43f26fb77",{"id":1769,"url":1770,"linktype":31,"fieldtype":32,"cached_url":1770,"story":3153},{"name":442,"id":1772,"uuid":1769,"slug":440,"url":1770,"full_slug":1770,"_stopResolving":81},{"_uid":3155,"link":3156,"text":2341,"component":59},"a6c2172d-c238-4188-9367-c2433c1db9fd",{"id":2345,"url":3157,"linktype":31,"fieldtype":32,"cached_url":3157,"story":3158},"de/blog/data-science/statistik-fehler-beim-a-b-testing-vermeiden",{"name":2341,"id":2344,"uuid":2345,"slug":3159,"url":3160,"full_slug":3160,"_stopResolving":81},"statistik-fehler-beim-a-b-testing-vermeiden","de/data-science/statistik-fehler-beim-a-b-testing-vermeiden",[3162],{"_uid":3163,"caption":30,"headline":3164,"component":3165,"subheadline":3166,"action_buttons":3180},"e3a0f03d-591c-4f5b-88fc-cfb4300d3f4f","Endlich kein Kopfzerbrechen mehr bei Testauswertungen","item-cta",{"type":39,"content":3167},[3168,3175],{"type":42,"attrs":3169,"content":3170},{"textAlign":118},[3171],{"text":3172,"type":513,"marks":3173},"E-Book und Präsentations-Folien im Doppelpack",[3174],{"type":964},{"type":42,"attrs":3176,"content":3177},{"textAlign":118},[3178],{"text":3179,"type":513},"Du willst sicher sein, was dein Test wirklich aussagt und deinem Team helfen, dieselbe Klarheit zu gewinnen? Dieses Bundle gibt dir alles, was du brauchst, um souverän mit Statistik im Testing-Alltag umzugehen.",[3181],{"_uid":3182,"icon":27,"link":3183,"text":3188,"intent":35,"component":36,"icon_position":37},"1dc878e2-93a4-45ab-b015-c789b83c645d",{"id":404,"url":30,"linktype":31,"fieldtype":32,"cached_url":405,"story":3184},{"name":3185,"id":3186,"uuid":404,"slug":3187,"url":405,"full_slug":405,"_stopResolving":81},"Statistik E-Book und Basic Wissen für A/B-Testing",79432354030905,"statistik-e-book-und-basic-wissen-fuer-a-b-testing","Statistik-Bundle erhalten","13",[],[],-110,[],"dc725de4-7f2c-4773-85e5-4aaabe9c53b6","2023-02-28T10:15:11.000Z",[],{"name":3198,"created_at":3199,"published_at":3200,"updated_at":3201,"id":3202,"uuid":3203,"content":3204,"slug":3785,"full_slug":3786,"sort_by_date":118,"position":3791,"tag_list":3792,"is_startpage":51,"parent_id":3793,"meta_data":118,"group_id":3794,"first_published_at":3795,"release_id":118,"lang":124,"path":118,"alternates":3796,"default_full_slug":118,"translated_slugs":118},"Paralleles Testen: 3 Vorteile, von denen die innovativsten Unternehmen bereits profitieren","2025-10-15T16:25:51.777Z","2026-10-04T09:55:58.981Z","2026-10-04T09:56:03.560Z",101809978520285,"a13ee94f-a175-41f3-985e-710e8d228ed4",{"seo":3205,"_uid":3206,"body":3207,"text":30,"image":3728,"footer":30,"header":30,"authors":3731,"category":2286,"headline":3198,"component":1701,"categories":3732,"bottom_head":3771,"breadcrumbs":3772,"seo_noindex":51,"sidebar_cta":3787,"reading_time":3788,"seo_nofollow":51,"seo_canonical":30,"bottom_buttons":3789,"additional_slot":3790,"sidebar_cta_enabled":81,"sidebar_toc_enabled":81},{"title":3198,"plugin":911,"og_image":30,"og_title":3198,"description":30,"twitter_image":30,"twitter_title":3198,"og_description":30,"twitter_description":30},"ae1a8929-3efe-45a2-9046-b131afb2820e",[3208,3292,3304,3317,3329,3358,3370,3443,3455,3522,3534,3546,3558,3595,3607],{"_uid":3209,"text":3210,"component":1658},"cc0fe16a-6fb8-4ce9-bfb6-4918ce842559",{"type":39,"content":3211},[3212,3223,3227,3231,3235,3247,3253,3274,3278,3283,3288],{"type":42,"content":3213},[3214,3216,3222],{"text":3215,"type":513},"Was unterscheidet innovative, wachstumsstarke Unternehmen wie Amazon, Microsoft, Uber, Airbnb oder booking.com von anderen? Sie führen, unter anderem, Tausende Experimente parallel durch",{"text":3217,"type":513,"marks":3218},"¹",[3219],{"type":1019,"attrs":3220},{"href":3221,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://partner.booking.com/en-gb/click-magazine/industry-perspectives/role-experimentation-bookingcom",{"text":1442,"type":513},{"type":42,"content":3224},[3225],{"text":3226,"type":513},"Sie tun das, weil sie den (strategischen) Wert von Experimentation Programmen verstanden haben und wissen, dass die Anzahl der durchgeführten Tests – neben dem Anteil der positiven Ergebnisse und dem durchschnittlich erzeugten Uplift – ein entscheidender Erfolgsfaktor ist².",{"type":42,"content":3228},[3229],{"text":3230,"type":513},"Und sie sind bereit in Testing zu investieren, weil sie sich vor allem eines Vorteils bewusst sind: paralleles Testing liefert schnell Insights, die in allen Bereichen der Organisation verwendet werden können.",{"type":42,"content":3232},[3233],{"text":3234,"type":513},"Aber ist paralleles Testing tatsächlich der heilige Gral der Skalierbarkeit? Lässt sich dadurch wirklich Zeit sparen?",{"type":42,"content":3236},[3237,3239,3245],{"text":3238,"type":513},"So einfach wie das klingt, ist es jedoch nicht, wie teils ",{"text":3240,"type":513,"marks":3241},"kontroverse Diskussionen",[3242],{"type":1019,"attrs":3243},{"href":3244,"uuid":118,"anchor":118,"target":118,"linktype":136},"https://cxl.com/blog/can-you-run-multiple-ab-tests-at-the-same-time/",{"text":3246,"type":513}," zeigen. “Die Durchmischung von Nutzer:innen führt zu einer viel höheren Wahrscheinlichkeit eines Fehlers, sowie zu einer größeren täglichen und durchschnittlichen Varianz, was bedeutet, dass es schwieriger ist, verwertbare Ergebnisse zu erhalten”, mahnt Andrew Anderson, Head of Optimization bei Malwarebytes. Aber heißt das, parallele Tests liefern verwässerte oder gar falsche Ergebnisse?",{"type":42,"content":3248},[3249],{"text":3250,"type":513,"marks":3251},"Im Kontext von parallelem Testing gibt es einige Bedenken:",[3252],{"type":964},{"type":1085,"attrs":3254,"content":3255},{"tight":51},[3256,3262,3268],{"type":1088,"content":3257},[3258],{"type":42,"content":3259},[3260],{"text":3261,"type":513},"Ist es nötig, parallel laufende Tests voneinander zu isolieren, um ihre Ergebnisse nicht zu verwässern?",{"type":1088,"content":3263},[3264],{"type":42,"content":3265},[3266],{"text":3267,"type":513},"Ist paralleles Testing überhaupt geeignet, um valide Ergebnisse zu generieren?",{"type":1088,"content":3269},[3270],{"type":42,"content":3271},[3272],{"text":3273,"type":513},"Oder bremst die Komplexität von parallelen Tests sogar Innovation?",{"type":42,"content":3275},[3276],{"text":3277,"type":513},"Um diese Bedenken zu adressieren [Spoiler: und aufzulösen], müssen wir uns zunächst der Alternativen bewusst sein, ergo ein Verständnis für die verschiedenen Testmodelle entwickeln.",{"type":933,"attrs":3279,"content":3280},{"level":935},[3281],{"text":3282,"type":513},"Übersicht verschiedener Testmodelle",{"type":933,"attrs":3284,"content":3285},{"level":1073},[3286],{"text":3287,"type":513},"1. Serielles Testen",{"type":42,"content":3289},[3290],{"text":3291,"type":513},"Beim seriellen Testen laufen die Tests hintereinander ab. Du startest mit Test 1, wartest bis dieser abgeschlossen ist und beginnst dann Test 2. Beide Tests laufen auf beliebig wählbaren Anteilen des gesamten Traffics.",{"_uid":3293,"image":3294,"caption":3298,"component":2371},"a8e84851-07da-4611-9583-85f638ce9303",{"alt":3295,"src":3296,"name":30,"focus":30,"title":118,"source":30,"filename":3296,"copyright":30,"fieldtype":49,"meta_data":3297,"is_external_url":81},"Serielles Testen","https://storage.googleapis.com/kk-website-assets/7k9bbyvg_serielles-testen-schema-820x165.png",{"alt":3295,"title":118,"source":30,"copyright":30},{"type":39,"content":3299},[3300],{"type":42,"content":3301},[3302],{"text":3303,"type":513},"Beim seriellen Testen laufen die Tests mit demselben Traffic getrennt nacheinander.",{"_uid":3305,"text":3306,"component":1658},"fd4e1d37-4598-4a23-8b3c-73092d8e62e3",{"type":39,"content":3307},[3308,3313],{"type":933,"attrs":3309,"content":3310},{"level":1073},[3311],{"text":3312,"type":513},"2. Isoliertes Testen",{"type":42,"content":3314},[3315],{"text":3316,"type":513},"Beim isolierten Testen finden Test 1 und Test 2 im gleichen Zeitraum statt. Vorher wurde jedoch definiert, dass ein Teil der Nutzer:innen in Test 1 und der andere Teil in Test 2 landen. Diese Tests laufen zeitgleich, jede:r Nutzer:in sieht allerdings nur einen Test.",{"_uid":3318,"image":3319,"caption":3323,"component":2371},"ea55b2ca-1b52-46d8-b9e0-810f8d79d8ad",{"alt":3320,"src":3321,"name":30,"focus":30,"title":118,"source":30,"filename":3321,"copyright":30,"fieldtype":49,"meta_data":3322,"is_external_url":81},"Isoliertes Testen","https://storage.googleapis.com/kk-website-assets/jn96Gi6O_isoliertes-testen-schema-820x394.png",{"alt":3320,"title":118,"source":30,"copyright":30},{"type":39,"content":3324},[3325],{"type":42,"content":3326},[3327],{"text":3328,"type":513},"Bei isolierten Tests wird der Traffic beliebig aufgeteilt. “Control” beschreibt jeweils den Status quo, “Variante” die veränderte Version",{"_uid":3330,"text":3331,"component":1658},"3bc617cc-f164-4d63-9a49-dc53b822b5a4",{"type":39,"content":3332},[3333,3337,3341,3346,3350,3354],{"type":42,"content":3334},[3335],{"text":3336,"type":513},"Für Organisationen mit viel Traffic auf ihrer Website kann das ein echter Wettbewerbsvorteil sein, da sie (fast) beliebig viele Tests parallel durchführen können. Um dabei mit derselben Testpower testen zu können, müssen in dem Fall aber die Testlaufzeiten entsprechend verlängert werden.",{"type":42,"content":3338},[3339],{"text":3340,"type":513},"Vereinfacht ausgedrückt: Bei der doppelten Anzahl an Tests halbiert sich die Stichprobengröße, wodurch sich die Testlaufzeit verdoppelt.",{"type":933,"attrs":3342,"content":3343},{"level":1073},[3344],{"text":3345,"type":513},"3. Paralleles Testen",{"type":42,"content":3347},[3348],{"text":3349,"type":513},"Beim parallelen Testen laufen Experimente tatsächlich parallel, wodurch jede:r Nutzer:in gleichzeitig an Test 1 und Test 2 teilnehmen kann und dementsprechend mit den jeweils ausgelösten Zielen auch in beiden Tests mitgezählt wird.",{"type":42,"content":3351},[3352],{"text":3353,"type":513},"So würden sich also beispielsweise 100.000 Nutzer:innen zu je 50.000 Nutzer:innen in der Control und in der Variante des ersten Tests und in die Control und Variante des zweiten Tests aufteilen (siehe Abbildung unten). Wenn keine außergewöhnliche Abhängigkeit zwischen den Tests besteht und die Randomisierung des Testingtools funktioniert wie erwartet, sollten sich die Nutzer in jeder Variante des einen Tests ungefähr gleich auf die Varianten des zweiten Tests verteilen.",{"type":42,"content":3355},[3356],{"text":3357,"type":513},"Das bedeutet: In der Kontrollgruppe von Test 1 befinden sich zu ca. 50 % Nutzer:innen aus der Control des zweiten Tests sowie 50 % aus der Variante des zweiten Tests, ebenso wie sich in der Variante des ersten Tests gleich viele Nutzer:innen aus der Control und der Variante des zweiten Tests befinden. Dadurch sollten alle Effekte, die ein paralleler Test auf das Nutzerverhalten hat, im gleichen Maß in allen Varianten auftreten, wodurch die Vergleichbarkeit grundsätzlich gegeben ist.",{"_uid":3359,"image":3360,"caption":3364,"component":2371},"c3ac3623-d339-4148-a061-75935e2b864d",{"alt":3361,"src":3362,"name":30,"focus":30,"title":118,"source":30,"filename":3362,"copyright":30,"fieldtype":49,"meta_data":3363,"is_external_url":81},"Paralleles Testen","https://storage.googleapis.com/kk-website-assets/2WYexMGm_paralleles-testen-schema-820x574.png",{"alt":3361,"title":118,"source":30,"copyright":30},{"type":39,"content":3365},[3366],{"type":42,"content":3367},[3368],{"text":3369,"type":513},"Beim parallelen Testen wird der Traffic jeweils pro Test aufgeteilt, sodass einzelne Nutzer:innen Teil beider Tests sind – entweder in der Control oder der Variante.",{"_uid":3371,"text":3372,"component":1658},"9e8c9077-0d2f-4b99-a243-265b0062d8f7",{"type":39,"content":3373},[3374,3379,3384,3389,3394,3399,3404,3409,3414,3419,3424,3429,3434],{"type":42,"attrs":3375,"content":3376},{"textAlign":118},[3377],{"text":3378,"type":513},"Vor diesem theoretischen Hintergrund können wir nun die eingangs erwähnten Kritikpunkte diskutieren und klären, inwieweit diese tatsächlich als Nachteil von parallelen Tests zu verstehen sind. Demgegenüber stehen ohnehin verschiedene Vorteile, die paralleles Testing unserer Meinung nach zu einem überlegenen Ansatz machen.",{"type":933,"attrs":3380,"content":3381},{"level":935,"textAlign":118},[3382],{"text":3383,"type":513},"Vorteile von parallelem Testing",{"type":933,"attrs":3385,"content":3386},{"level":1073,"textAlign":118},[3387],{"text":3388,"type":513},"1. Wir können unbegrenzt viele Tests durchführen",{"type":42,"attrs":3390,"content":3391},{"textAlign":118},[3392],{"text":3393,"type":513},"Können Tests einfach parallel laufen, gibt es keine logische Grenze für die Anzahl an Tests, die ein Unternehmen durchführen kann. Egal ob im seriellen oder im isolierten Testing, der zur Verfügung stehende Traffic begrenzt die Anzahl an Tests in einem bestimmten Zeitraum (unabhängig vom Betrachtungszeitraum).",{"type":42,"attrs":3395,"content":3396},{"textAlign":118},[3397],{"text":3398,"type":513},"Mit parallelen Tests können Organisationen selbst auf Webseiten mit relativ wenig Traffic unbegrenzt experimentieren und dadurch die gleichen Wachstumstreiber nutzen, wie die eingangs genannten Marktführer. Da alle Hypothesen getestet werden können, verbreitet sich dadurch ein echtes Innovation-Mindset. Können aufgrund von Traffic Beschränkungen nur einige wenige Tests im Jahr durchgeführt werden und werden deswegen zahlreiche Ideen niemals getestet, sinkt die Motivation, kontinuierlich nach neuen Optimierungsmöglichkeiten (auch und gerade den kleinen) zu suchen.",{"type":42,"attrs":3400,"content":3401},{"textAlign":118},[3402],{"text":3403,"type":513},"Trotz des Hypes um grenzenloses Testing kann es aber durchaus technische Grenzen geben, die die Anzahl der gleichzeitig laufenden Tests in der Praxis beschränken kann. Müssen beispielsweise clientseitig beim Seitenaufruf zu viele Skripte des Testingtools ablaufen, kann dies Einfluss auf die Performance der Website haben und somit die UX grundsätzlich verschlechtern.",{"type":933,"attrs":3405,"content":3406},{"level":1073,"textAlign":118},[3407],{"text":3408,"type":513},"2. Hypothesen können sofort getestet werden",{"type":42,"attrs":3410,"content":3411},{"textAlign":118},[3412],{"text":3413,"type":513},"Wie viel einfacher fällt die Planung aus, wenn zunächst keine Rücksicht auf andere Tests genommen werden muss, um ein Experiment zu starten? Kein Warten darauf, bis der aktuelle Test beendet ist! Keine Diskussionen darüber, welcher Test eine höhere Relevanz hat! Keine Kompromisse bei der Testlaufzeit und damit auch der statistischen Power, weil der nächste Test nicht so lange warten kann!",{"type":42,"attrs":3415,"content":3416},{"textAlign":118},[3417],{"text":3418,"type":513},"Wenn alle Tests parallel laufen können, muss ein Experiment “nur” entwickelt und qualitätsgesichert werden, bevor er starten kann. Natürlich kann es gelegentlich Gründe dafür geben, mit dem Start eines Tests zu warten, bis ein anderer abgeschlossen ist; nämlich genau dann, wenn die Tests inhaltlich nicht zusammen passen bzw. sich widersprechen.",{"type":42,"attrs":3420,"content":3421},{"textAlign":118},[3422],{"text":3423,"type":513},"Ein plakatives Beispiel hierfür wäre, wenn Test 1 die Farbe Spacegrey als neue Hintergrundfarbe testet und ein weiterer Test 2 dieselbe Farbe als Schriftfarbe oder zum Einfärben von Icons benutzen möchte. Etwas praxisbezogener ist die Vorstellung, dass in einem Test ein Element (bspw. eine Menüleiste) entfernt wird, um das Layout zu vereinfachen, während ein weiterer Test Änderungen am Inhalt oder Design eben dieses Elements überprüft.",{"type":933,"attrs":3425,"content":3426},{"level":1073,"textAlign":118},[3427],{"text":3428,"type":513},"3. Einflüsse (Interferenzen) können sichtbar gemacht werden",{"type":42,"attrs":3430,"content":3431},{"textAlign":118},[3432],{"text":3433,"type":513},"Wenn wir in der Praxis Tests parallel laufen lassen möchten, hören wir häufig die Bedenken darüber, dass man ja nicht wissen kann, ob und wie die parallel laufenden Tests einander beeinflussen. Vielleicht funktionieren die Veränderungen aus Test 1 nur deswegen, weil Nutzer:innen einen bestimmten Reiz aus einem anderen Test erhalten haben (oder sie funktionieren gegenteilig genau deswegen nicht)? Vielleicht (dazu gleich mehr), aber gerade durch paralleles Testing und einer anschließenden segmentierten Auswertung nach Varianten-Zugehörigkeit in anderen Tests können wir diese Interferenzen wirklich sichtbar machen! Das ist also weniger ein Argument gegen paralleles Testen, sondern vielmehr eines dafür.",{"type":42,"attrs":3435,"content":3436},{"textAlign":118},[3437,3441],{"text":3438,"type":513,"marks":3439},"Ein Beispiel:",[3440],{"type":964},{"text":3442,"type":513}," Angenommen, es liefen zwei Tests mit jeweils einer Control und einer Variante parallel und wir möchten analysieren, ob die Variante des zweiten Tests das Ergebnis des ersten Tests beeinflusst hat. Zu diesem Zweck können in Test 1 zwei Segmente gebildet werden. Segment 1 enthält alle Nutzer:innen, die parallel in der Control-Gruppe des zweiten Tests waren und Segment 2 umfasst alle Nutzer:innen aus der Variante des zweiten Tests (siehe Abbildung unten). Unterscheiden sich die Effekte in beiden Segmenten deutlich, kann es sich um eine Interferenz der beiden Tests handeln, die ggf. weiter untersucht wird oder mit einem Folgetest evaluiert werden kann.",{"_uid":3444,"image":3445,"caption":3449,"component":2371},"65334158-6fe3-43c4-9a82-3503de0a1de0",{"alt":3446,"src":3447,"name":30,"focus":30,"title":118,"source":30,"filename":3447,"copyright":30,"fieldtype":49,"meta_data":3448,"is_external_url":81},"Segmentbildung beim parallelen Testen","https://storage.googleapis.com/kk-website-assets/JK3HpHi0_paralleles-testen-ergebnis-1-820x491.png",{"alt":3446,"title":118,"source":30,"copyright":30},{"type":39,"content":3450},[3451],{"type":42,"content":3452},[3453],{"text":3454,"type":513},"Segmentbildung in Test 1. Die Segmente beinhalten Teilnehmer in Varianten eines anderen Tests",{"_uid":3456,"text":3457,"component":1658},"2105d64e-5b14-4ac8-81df-a9c91c3de07b",{"type":39,"content":3458},[3459,3466,3471,3475,3479,3483,3488,3492,3496,3514,3518],{"type":42,"content":3460},[3461,3463,3464],{"text":3462,"type":513},"Würden wir die Tests unabhängig voneinander durchführen, also durch serielles oder isoliertes Testing, haben wir keine Möglichkeit, diesen Vergleich anzustellen.",{"type":3043},{"text":3465,"type":513},"Grundsätzlich sei jedoch erwähnt, dass sich bei erwarteten Interferenzen ein MVT-Setup (Multivariates Testing) besser eignet als unabhängige Tests, die post hoc in einzelne Kombinationen segmentiert werden.",{"type":933,"attrs":3467,"content":3468},{"level":935},[3469],{"text":3470,"type":513},"(Vermeintliche) Nachteile von parallelem Testing",{"type":42,"content":3472},[3473],{"text":3474,"type":513},"Wie zu Beginn erwähnt, gibt es in der A/B-Testing-Community einige Stimmen, die vor einer erhöhten Fehlerwahrscheinlichkeit durch paralleles Testing warnen.",{"type":42,"content":3476},[3477],{"text":3478,"type":513},"Aber was ist denn überhaupt der Grundgedanke des Experimentierens?",{"type":42,"content":3480},[3481],{"text":3482,"type":513},"Wir setzen in einer Gruppe von Nutzer:innen einen Stimulus (Variante) und in der anderen nicht (Control). Abgesehen von dieser Änderung sollen sich Nutzer:innen aus beiden Gruppen identisch zusammensetzen, was in der Regel durch eine randomisierte Zuteilung in die Testgruppen sichergestellt wird. Dadurch leiten wir mit einer gewissen Konfidenz ab, dass alle “signifikanten” Unterschiede im Nutzerverhalten der Testgruppen ursächlich mit dem gesetzten Stimulus zusammenhängen.",{"type":933,"attrs":3484,"content":3485},{"level":1073},[3486],{"text":3487,"type":513},"1. Parallele Tests verwässern die Stichprobe und machen diese unbrauchbar",{"type":42,"content":3489},[3490],{"text":3491,"type":513},"Kritisiert wird, dass diese Grundprinzip beim parallelen Testing nicht mehr eingehalten wird. Die Befürchtung ist, dass Nutzer:innen durch gleichzeitig laufende Tests eine Website unterschiedlich erleben und somit die Ergebnisse des einzelnen Experiments verwässern, bei dem wir ja eigentlich versuchen, die Auswirkungen auf das Nutzerverhalten durch die Veränderung(en) in einer Variante isoliert zu bewerten.",{"type":42,"content":3493},[3494],{"text":3495,"type":513},"Dem würden wir entgegnen, dass es sich bei kontrollierten Online-Experimenten grundsätzlich nicht um Experimente unter Laborbedingungen handelt, sondern um sogenannte Feldexperimente, die von einer Vielzahl an externen Einflussfaktoren “gestört” werden können. Auch ohne einen zusätzlichen parallelen Test können wir nicht sicherstellen, dass alle Nutzer:innen in den Varianten dieselbe User Experience machen und derselben User Journey folgen.",{"type":42,"content":3497},[3498,3500,3512],{"text":3499,"type":513},"Manche Nutzer:innen gehen direkt zum Check-out, nachdem sie alle Produkte in den Warenkorb gelegt haben, andere sehen sich den Warenkorb zunächst nochmal an. Einige Nutzer:innen lesen die sorgsam erstellte und mit allerlei ",{"text":3501,"type":513,"marks":3502},"konsumpsychologischen Triggern optimierte Produktbeschreibung",[3503],{"type":1019,"attrs":3504},{"href":3505,"uuid":3506,"anchor":118,"target":1068,"linktype":31,"story":3507},"/de/behavior-patterns/content-optimierung-ist-mehr-als-seo-einsatz-von-verhaltensmustern-in-webtexten","25e04ffc-0843-4adf-8981-692052e391fb",{"name":3508,"id":3509,"uuid":3506,"slug":3510,"url":3511,"full_slug":3511,"_stopResolving":81},"Content Optimierung ist mehr als SEO – Über den Einsatz von Verhaltensmustern in Webtexten",101807901720497,"content-optimierung-ist-mehr-als-seo-einsatz-von-verhaltensmustern-in-webtexten","de/behavior-patterns/content-optimierung-ist-mehr-als-seo-einsatz-von-verhaltensmustern-in-webtexten",{"text":3513,"type":513},", während andere nur am Preis interessiert sind und anhand dessen entscheiden, ob sie ein Produkt kaufen oder nicht.",{"type":42,"content":3515},[3516],{"text":3517,"type":513},"Die Varianz in den Daten eines Online Experiments ist also ohnehin groß. Der Einfluss durch eine (oder auch mehrere) zusätzliche Varianten aus parallelen Tests ist nur ein weiterer Faktor von vielen. Durch eine randomisierte Aufteilung der Nutzer:innen in die einzelnen Testsegmente und einer ausreichend großen Stichprobe können wir dennoch sicherstellen, dass sich die beobachtbaren Veränderungen in der User-Experience gleichmäßig über alle Testvarianten verteilen und somit eine Vergleichbarkeit gegeben ist.",{"type":42,"content":3519},[3520],{"text":3521,"type":513},"Das gilt auch bei parallelen Tests, da die Varianten-Zuteilung in beiden Tests unabhängig voneinander geschieht. Heißt: Wenn ein:e Nutzer:in bereits in einem Test ist und nun an einem zweiten Test teilnimmt, hat die Variante des ersten Tests keinen Einfluss darauf, welche Variante diese:r Nutzer:in im zweiten Test erlebt (siehe Abbildung unten). Control und Variante bleiben vergleichbar.",{"_uid":3523,"image":3524,"caption":3528,"component":2371},"63ce62d7-d5be-4892-9ac1-a08eae22116a",{"alt":3525,"src":3526,"name":30,"focus":30,"title":118,"source":30,"filename":3526,"copyright":30,"fieldtype":49,"meta_data":3527,"is_external_url":81},"Ein Case für paralleles Testen","https://storage.googleapis.com/kk-website-assets/jdn3l8Ac_paralleles-testen-case-820x418.png",{"alt":3525,"title":118,"source":30,"copyright":30},{"type":39,"content":3529},[3530],{"type":42,"content":3531},[3532],{"text":3533,"type":513},"Normale (unabhängige) Aufteilung der Nutzer:innen in die Varianten von zwei parallelen Tests",{"_uid":3535,"text":3536,"component":1658},"05addd9f-9b05-4e82-8cac-389972203d65",{"type":39,"content":3537},[3538],{"type":42,"content":3539},[3540,3544],{"text":3541,"type":513,"marks":3542},"Ausnahmen bestimmen die Regel:",[3543],{"type":964},{"text":3545,"type":513}," Zum Beispiel, wenn in einem Test untersucht wird, ob der Besuch des Warenkorbs vor dem Check-out verpflichtend sein soll, und in einem zweiten Test der Inhalt der Warenkorb-Seite optimiert wird (siehe Abbildung unten).",{"_uid":3547,"image":3548,"caption":3552,"component":2371},"9513d7cd-f134-439e-bab0-bb77d2354bfa",{"alt":3549,"src":3550,"name":30,"focus":30,"title":118,"source":30,"filename":3550,"copyright":30,"fieldtype":49,"meta_data":3551,"is_external_url":81},"Ausnahmefall beim parallelen Testen","https://storage.googleapis.com/kk-website-assets/RCtaWvHv_paralleles-testen-beispiel-820x414.png",{"alt":3549,"title":118,"source":30,"copyright":30},{"type":39,"content":3553},[3554],{"type":42,"content":3555},[3556],{"text":3557,"type":513},"Beispiel für eine ungleiche Verteilung von Nutzer:innen bei abhängigen parallelen Tests",{"_uid":3559,"text":3560,"component":1658},"06b170d3-126a-48f9-b602-e16a402e01c3",{"type":39,"content":3561},[3562,3566,3570,3574,3578,3583,3587,3591],{"type":42,"content":3563},[3564],{"text":3565,"type":513},"Die Variante, in der der Warenkorb verpflichtend ist, werden alle 50.000 Nutzer:innen auch am zweiten Test teilnehmen und sich zu jeweils 25.000 auf die beiden Varianten des zweiten Tests verteilen.",{"type":42,"content":3567},[3568],{"text":3569,"type":513},"Gleichzeitig werden die Nutzer:innen aus der Control des ersten Tests, welche sich dafür entscheiden, den Warenkorb zu überspringen und direkt zum Check-out zu gehen (hier: 30.000 Nutzer:innen), gar nicht am zweiten Test teilnehmen. Lediglich die 20.000 Nutzer:innen, welche freiwillig zum Warenkorb gehen, werden auch in den zweiten Test gelangen und sich dort zu jeweils 10.000 auf die beiden Varianten verteilen.",{"type":42,"content":3571},[3572],{"text":3573,"type":513},"Wenn die Variante des verpflichtenden Warenkorbs nun besser (oder schlechter) abschneidet, muss dies nicht am verpflichtenden Besuch des Warenkorbs liegen, sondern kann auch dadurch getrieben sein, dass in dieser Variante viel mehr (hier: 15.000) Nutzer:innen den optimierten Warenkorb gesehen haben.",{"type":42,"content":3575},[3576],{"text":3577,"type":513},"Das sind jedoch Edge Cases, die wir in der Regel antizipieren und durch ein alternatives Testing-Modell (seriell oder isoliert) umgehen können.",{"type":933,"attrs":3579,"content":3580},{"level":1073},[3581],{"text":3582,"type":513},"2. Die Validität der Ergebnisse wird beeinträchtigt",{"type":42,"content":3584},[3585],{"text":3586,"type":513},"Weitere Kritik zu einer vermeintlich erhöhten Fehlerquote bei parallelen Tests bezieht sich auf die möglichen Interferenzen zwischen den Testvarianten (siehe oben).",{"type":42,"content":3588},[3589],{"text":3590,"type":513},"Die Befürchtung ist, dass wenn parallel durchgeführte Experimente unabhängig voneinander ausgewertet werden und für jeden Test ein Gewinner bestimmt wird, Interferenzen nicht berücksichtigt werden. Das könnte dazu führen, dass eine unterlegene Kombination von Varianten ausgerollt wird.",{"type":42,"content":3592},[3593],{"text":3594,"type":513},"Im untenstehenden Diagramm haben wir beispielhafte Daten für so einen Fall skizziert (erste und zweite Spalte). In Test 1 erzielt die Control eine Conversion Rate (CR) von 6 %, die Variante eine CR von 5,5 %. In Test 2 erzielt die Variante eine höhere Conversion Rate als die Control (6,2 % > 5 %) und würde dementsprechend ausgerollt werden – zur Vereinfachung nehmen wir einen signifikanten Effekt an.",{"_uid":3596,"image":3597,"caption":3601,"component":2371},"c52c3527-1d9b-49f3-8100-a161eb5d3625",{"alt":3598,"src":3599,"name":30,"focus":30,"title":118,"source":30,"filename":3599,"copyright":30,"fieldtype":49,"meta_data":3600,"is_external_url":81},"Auswertung aller Varianten-Kombinationen von zwei parallelen Tests","https://storage.googleapis.com/kk-website-assets/ZziKgzY1_paralleles-testen-ergebnis-2-820x456.png",{"alt":3598,"title":118,"source":30,"copyright":30},{"type":39,"content":3602},[3603],{"type":42,"content":3604},[3605],{"text":3606,"type":513},"Beispiel für eine Auswertung aller Varianten-Kombinationen von zwei parallelen Tests mit möglichen Interferenzen.",{"_uid":3608,"text":3609,"component":1658},"57732f30-18bc-4307-9a2a-e48e86fda793",{"type":39,"content":3610},[3611,3615,3619,3646,3650,3658,3666,3670,3676,3681,3685,3689,3694,3704,3708,3712,3716,3724],{"type":42,"content":3612},[3613],{"text":3614,"type":513},"Sowohl die Unterlegenheit der V1 als auch die Überlegenheit der V2 kommen jedoch möglicherweise nur durch die Kombination der beiden Tests zustande, so die Bedenken aus der Community. Oder anders formuliert: Bei einem isolierten Test 1 hätte die Variante gewonnen, weil nur die Interferenz mit Test 2 zu einem Downcast führte.",{"type":42,"content":3616},[3617],{"text":3618,"type":513},"Diese These können wir allerdings leicht überprüfen, indem wir die Tests segmentiert auswerten, sprich alle Varianten-Kombinationen einzeln bewerten:",{"type":1161,"attrs":3620,"content":3621},{"order":1163,"tight":51},[3622,3628,3634,3640],{"type":1088,"content":3623},[3624],{"type":42,"content":3625},[3626],{"text":3627,"type":513},"Segment: User aus Test 1 Control und Test 2 Control (C-C)",{"type":1088,"content":3629},[3630],{"type":42,"content":3631},[3632],{"text":3633,"type":513},"Segment: C-V",{"type":1088,"content":3635},[3636],{"type":42,"content":3637},[3638],{"text":3639,"type":513},"Segment: V-C",{"type":1088,"content":3641},[3642],{"type":42,"content":3643},[3644],{"text":3645,"type":513},"Segment: V-V",{"type":42,"content":3647},[3648],{"text":3649,"type":513},"Wie im Beispiel oben (dritte Spalte) kann dabei tatsächlich herauskommen, dass unsere ursprüngliche Entscheidung für Kombination C-V suboptimal war. Die insgesamt höchste Conversion Rate ergab sich nämlich aus der Kombination V-V.",{"type":42,"content":3651},[3652,3654],{"text":3653,"type":513},"Wir können nicht ausschließen, dass ein solcher Fall tatsächlich auftreten kann. ",{"text":3655,"type":513,"marks":3656},"Aber ohne paralleles Testing (oder MVT) wüssten wir davon ja auch gar nichts.",[3657],{"type":964},{"type":42,"content":3659},[3660,3662],{"text":3661,"type":513},"Unsere Erfahrung bestätigt zudem, dass solche Effekte extrem selten auftreten und auch nie mit dem Ergebnis, dass die “falsche” Kombination zu einem Downcast führt. ",{"text":3663,"type":513,"marks":3664},"In der Praxis ergibt Plus mal Plus sozusagen niemals Minus.",[3665],{"type":964},{"type":42,"content":3667},[3668],{"text":3669,"type":513},"Und ganz abgesehen davon gilt: Wenn in deiner Organisation bereits seriell oder isoliert getestet wird, dann wurden daraus bestimmt schon einige Varianten in den Live-Betrieb ausgerollt; und andere wurden verworfen. Dadurch fehlt uns schlichtweg die Möglichkeit zu vergleichen, ob ebendiese verworfenen Varianten in Kombination mit Varianten aus zukünftigen Tests nicht vielleicht doch Gewinner geworden wären.",{"type":42,"content":3671},[3672],{"text":3673,"type":513,"marks":3674},"Genau genommen gibt es durch vergangene Tests also unzählige mögliche Kombinationen mit der aktuellen Variante, die wir überhaupt nicht testen. Wieso sollten dann die möglichen Interferenzen aus “heute” parallel laufenden Tests überhaupt relevant sein?",[3675],{"type":964},{"type":933,"attrs":3677,"content":3678},{"level":1073},[3679],{"text":3680,"type":513},"3. Die Komplexität wird erhöht",{"type":42,"content":3682},[3683],{"text":3684,"type":513},"Der Anspruch, wirklich alle parallel laufenden Tests immer segmentiert auszuwerten, um Interferenzen zu bemerken und stets die optimale Kombination von Varianten zu finden, würde sicherlich einen erheblichen Mehraufwand bedeuten und die Komplexität eines Testing-Programms erhöhen. Dieser Aufwand lohnt sich unserer Erfahrung nach aber nur selten (nämlich dann, wenn solche Interferenzen vorab als sehr wahrscheinlich eingeschätzt wurden).",{"type":42,"content":3686},[3687],{"text":3688,"type":513},"Vernachlässigen wir diesen Aspekt, reduziert eine parallele Testing-Strategie also sogar die Komplexität des ganzen Programms, denn hinzukommt, dass es letztlich keine klassische Roadmap-Planung mehr braucht, um zu definieren, wann welcher Test durchgeführt werden kann. Auch auf ein Scoring oder die Priorisierung von Testideen könnten wir dann verzichten, wenn sowieso jede Idee jederzeit getestet werden kann. Vergesst aber deshalb bitte niemals die Qualitätssicherung und die Prüfung von Test-Konzepten auf Sinnhaftigkeit. 😉",{"type":933,"attrs":3690,"content":3691},{"level":935},[3692],{"text":3693,"type":513},"Fazit: Beim parallelen Testen überwiegen die Vorteile!",{"type":42,"content":3695},[3696,3698,3702],{"text":3697,"type":513},"Die Vorteile von parallelem Testing ",{"text":3699,"type":513,"marks":3700},"in der Praxis",[3701],{"type":2041},{"text":3703,"type":513}," überwiegen die – vorwiegend theoretischen oder irrelevanten – Gegenargumente unserer Meinung nach deutlich.",{"type":42,"content":3705},[3706],{"text":3707,"type":513},"Kann es passieren, dass ein Testergebnis durch einen anderen parallelen Test beeinflusst wird? Ja, sicher.",{"type":42,"content":3709},[3710],{"text":3711,"type":513},"Kann es sein, dass dadurch ein tatsächlicher Verlierer fälschlicherweise als Gewinner erscheint? Sehr unwahrscheinlich.",{"type":42,"content":3713},[3714],{"text":3715,"type":513},"Wenn es solche Effekte gibt und sie erwartet werden, möchten wir dann nicht die Möglichkeit haben, diese auch zu analysieren? Wenn ja, dann sind parallele Tests neben MVT die einzige Möglichkeit dazu.",{"type":42,"content":3717},[3718,3722],{"text":3719,"type":513,"marks":3720},"Paralleles Testing bietet die Möglichkeit, das eigene Testing-Programm beinahe nach Belieben zu skalieren.",[3721],{"type":964},{"text":3723,"type":513}," Das Potenzial, das die enorme Geschwindigkeit, mit der wir dadurch Ideen testen und umsetzen können, darstellt, überwiegt sämtliche Risiken.",{"type":42,"content":3725},[3726],{"text":3727,"type":513},"Sogar kleine und mittlere Unternehmen, die nicht mit sieben- bis achtstelligem Traffic arbeiten können, haben durch paralleles Testing die Möglichkeit zu optimieren wie die Großen!",{"alt":3198,"src":3729,"name":30,"focus":30,"title":3198,"source":30,"filename":3729,"copyright":30,"fieldtype":49,"meta_data":3730,"is_external_url":81},"https://storage.googleapis.com/kk-website-assets/uL66WjHt_paralleles-testen-konversionskraft-1620x500.png",{"alt":3198,"title":3198,"source":30,"copyright":30},[2285],[3733,3737,3741,3745,3758],{"name":2289,"created_at":2290,"published_at":2291,"updated_at":2292,"id":2293,"uuid":2286,"content":3734,"slug":2296,"full_slug":2297,"sort_by_date":118,"position":2298,"tag_list":3735,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":2300,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3736,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":2295,"component":1710},[],[],{"name":1704,"created_at":1705,"published_at":1706,"updated_at":1705,"id":1707,"uuid":1700,"content":3738,"slug":1711,"full_slug":1712,"sort_by_date":118,"position":1713,"tag_list":3739,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1716,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3740,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1709,"component":1710},[],[],{"name":1720,"created_at":1721,"published_at":1706,"updated_at":1721,"id":1722,"uuid":1723,"content":3742,"slug":1726,"full_slug":1727,"sort_by_date":118,"position":1728,"tag_list":3743,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":1730,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3744,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},{"_uid":1725,"component":1710},[],[],{"name":2289,"created_at":3746,"published_at":3747,"updated_at":3748,"id":3749,"uuid":3750,"content":3751,"slug":3753,"full_slug":3754,"sort_by_date":118,"position":119,"tag_list":3755,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":3756,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3757,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"2025-10-13T20:20:36.242Z","2026-10-08T05:55:32.229Z","2026-10-08T05:55:32.241Z",101159879683477,"430ab7d7-8d03-4995-856e-478aa05dd33e",{"_uid":3752,"component":1710},"f510a510-df14-4dd3-b179-909017021494","experimentation","de/_categories/experimentation",[],"27b82645-0fb7-46c1-85f9-4056d28d1b36",[],{"name":3759,"created_at":3760,"published_at":1706,"updated_at":3760,"id":3761,"uuid":3762,"content":3763,"slug":3765,"full_slug":3766,"sort_by_date":118,"position":3767,"tag_list":3768,"is_startpage":51,"parent_id":1715,"meta_data":118,"group_id":3769,"first_published_at":1717,"release_id":118,"lang":124,"path":118,"alternates":3770,"default_full_slug":118,"translated_slugs":118,"_stopResolving":81},"Strategie","2025-10-13T20:22:01.645Z",101160229498327,"d6cacac1-62c8-4c5e-a461-bf37484bf658",{"_uid":3764,"component":1710},"a5014570-7c3f-4ea6-8b89-7193ed38ddc8","strategie","de/_categories/strategie",-180,[],"bad80fce-e56e-480b-a1dc-fa97486f5db4",[],[],[3773,3776,3780],{"_uid":3774,"link":3775,"text":1765,"component":59},"857cbdc8-f147-4ef2-908b-b20a9a6a28cf",{"id":1763,"url":1764,"linktype":31,"fieldtype":32,"cached_url":1764},{"_uid":3777,"link":3778,"text":442,"component":59},"58e6d456-51a3-4a29-95fb-6a44a4631299",{"id":1769,"url":1770,"linktype":31,"fieldtype":32,"cached_url":1770,"story":3779},{"name":442,"id":1772,"uuid":1769,"slug":440,"url":1770,"full_slug":1770,"_stopResolving":81},{"_uid":3781,"link":3782,"text":3198,"component":59},"d3c1aa98-0692-4162-9c36-ef5e9ae930de",{"id":3203,"url":3783,"linktype":31,"fieldtype":32,"cached_url":3783,"story":3784},"de/blog/experimentation/paralleles-testen",{"name":3198,"id":3202,"uuid":3203,"slug":3785,"url":3786,"full_slug":3786,"_stopResolving":81},"paralleles-testen","de/experimentation/paralleles-testen",[],"14",[],[],-470,[],101806310923808,"da021ff1-e0e2-4bff-b9a8-eff2e819c431","2023-02-14T16:27:23.000Z",[],18,1791547855211]