Under de senaste 10+ åren har stora och små onlineföretag antagit omfattande A/B-tester som en robust databaserad metod för att utvärdera potentiella produktförbättringar. Vid experiment online är det enkelt att mäta den kortsiktiga effekten, dvs. den effekt som observerats under försöket. Den kortsiktiga effekten är dock inte alltid prediktiv för den långsiktiga effekten, dvs. den slutliga effekten när produkten har lanserats fullt ut och användarna har ändrat sitt beteende som svar. Utmaningen är därför hur man ska kunna fastställa den långsiktiga användareffekten samtidigt som man fortfarande kan fatta beslut i rätt tid. Vi tar itu med denna utmaning i detta dokument genom att först utveckla experimentmetoder för kvantifiering av långtidsanvändares lärande. Vi tillämpar sedan denna metod för annonser som visas på Google search, mer specifikt, för att bestämma och kvantifiera drivkrafterna för annonser blindhet och iakttagelse, fenomenet att användare ändrar sin inneboende benägenhet att klicka på eller interagera med annonser. Vi använder dessa resultat för att skapa en modell som använder mätvärden mätbara på kort sikt för att förutsäga det långsiktiga. Vi lär oss att användarnas tillfredsställelse är av största vikt: annonser blindhet och iakttagelse drivs av kvaliteten på tidigare sedda eller klickade annonser, mätt med både annonsrelevans och landningssida kvalitet. Att fokusera på användarnöjdhet både säkerställer gladare användare men också gör affärer vettigt, som våra resultat illustrerar. Vi beskriver två stora tillämpningar av våra resultat: en konceptuell förändring av vår annonsauktion som ytterligare ökade betydelsen av annonsernas kvalitet, och en 50% minskning av annonsbelastningen på Googles mobila sökgränssnitt. De resultat som presenteras i detta dokument är allmänt tillgängliga på två viktiga sätt. För det första kan metoden användas för att kvantifiera användarinlärningseffekter och för att utvärdera online-experiment i andra sammanhang än annonser. För det andra tyder resultaten av annonserna om blindhet/synthet på att ett fokus på användarnöjdhet skulle kunna bidra till att minska annonsbelastningen på internet i stort med långsiktig neutral eller till och med positiv inverkan på företagen. * Författare listas alfabetiskt och bidrog lika.
Hohnhold m.fl. REF hävdar att det är viktigare att fokusera på förändringarnas långsiktiga effekter och föreslår en metod för att uppskatta långsiktiga effekter från kortsiktiga mätvärden.
Focusing on the Long-term: It's Good for Users and Business
{'venue': "KDD '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}