Det är vanlig praxis att sammanfatta skickligheten i väderprognoser från en ansamling av prover som spänner över många platser och datum. Vid beräkning av många av dessa värden finns det ett implicit antagande att den klimatologiska frekvensen av händelseförekomst är ungefär invariant över alla prover. Om händelsefrekvensen faktiskt varierar mellan proverna, kan mätvärdena rapportera en färdighet som skiljer sig från den förväntade. Många vanliga deterministiska verifieringsmått, såsom hotpoäng, är benägna att felrapportera skicklighet, och probabilistiska prognosmått såsom Brier skill score och relativa operativa karakteristiska skill score kan också påverkas. Tre exempel ges som visar oväntade färdigheter, två från syntetiska data och ett med faktiska prognosdata. I det första exemplet rapporterades positiv skicklighet i en situation där mätvärdena beräknades utifrån en kombination av prognoser som bestod av slumpmässiga dragningar från klimatologin på två skilda platser. Eftersom skillnaden i klimatologisk händelsefrekvens mellan de två platserna ökade, ökade också den rapporterade skickligheten. Ett andra exempel visar att när den klimatologiska händelsefrekvensen varierar mellan proverna, kan mätvärdena väga prov med den största observationsosäkerheten. Ett sista exempel visar oväntat stor skicklighet i rättvisa hot poäng av deterministiska nederbördsprognoser. Riktlinjer föreslås för hur man justerar färdighetsberäkningar för att minimera dessa effekter.
REF lade också fram exempel som visar oväntad färdighet med gemensamma deterministiska verifieringsmått, såsom Briers skicklighetspoäng eller relativa funktionsegenskaper.
Measuring forecast skill: is it real skill or is it the varying climatology
{'venue': None, 'journal': 'Quarterly Journal of the Royal Meteorological Society', 'mag_field_of_study': ['Mathematics']}