Abstrakt. De flesta användarcentrerade studier av informationssystem i litteraturen lider av orealistiska inställningar eller ett begränsat antal användare som deltar i studien. För att ta itu med denna fråga har idén om ett levande labb främjats. Levande labb gör det möjligt för oss att utvärdera forskningshypoteser med hjälp av ett stort antal användare som tillfredsställer sitt informationsbehov i ett verkligt sammanhang. I den här artikeln introducerar vi ett levande labb på nyhetsrekommendation i realtid. Det levande labbet har först organiserats som News Rekommendation Challenge på ACM RecSys'13 och sedan som kampanj-stil utvärderingslabb NYHETSREEL på CLEF'14. Inom detta labb ombads forskare att ge rekommendationer i nyhetsartikeln till miljontals användare i realtid. Dessa användare följer sin egen agenda och skiljer sig från användarstudier som har utförts i ett laboratorium. Följaktligen kan laboratoriemässiga fördomar om deras beteende försummas. Vi beskriver det levande laboratoriet scenariot och det experimentella upplägget av de två benchmarkinghändelserna. Vi hävdar att det levande labbet kan fungera som referenspunkt för genomförandet av levande laboratorier för utvärdering av informationssystem.
Eftersom användarna följer sin egen agenda, kan laboratoriefördomar på deras beteende försummas REF.