Artificiell intelligens (AI) system som bygger på ofullständiga eller partiska data kommer ofta att uppvisa problematiska resultat. Nuvarande metoder för dataanalys, särskilt före modellutveckling, är kostsamma och inte standardiserade. Dataset Nutrition Label (Label) är ett diagnostiskt ramverk som 1 sänker barriären mot standardiserad dataanalys genom att ge en destillerad men ändå heltäckande översikt av datasetet "ingredienser" före AI-modellutveckling. Att bygga en etikett som kan tillämpas över olika domäner och datatyper kräver att själva ramen är flexibel och anpassningsbar; som sådan består etiketten av olika kvalitativa och kvantitativa moduler som genereras genom flera statistiska och probabilistiska modelleringsbackends, men visas i ett standardiserat format. För att demonstrera och utveckla detta koncept genererade och publicerade vi en öppen källkodsprototyp med sju provmoduler på 2 ProPublica Dollars for Docs dataset. Fördelarna med etiketten är många. För dataspecialister kommer Label att driva mer robusta dataanalysmetoder, ge ett effektivt sätt att välja det bästa datasetet för sina syften, och öka den övergripande kvaliteten på AI-modeller som ett resultat av mer robusta utbildningsdataset och förmågan att kontrollera för frågor vid tidpunkten för modellutveckling. För dem som bygger och publicerar dataset skapar etiketten en förväntan om förklaring, vilket kommer att driva på bättre metoder för datainsamling. Vi undersöker också begränsningarna i etiketten, inklusive utmaningarna att generalisera mellan olika datauppsättningar, och risken för att använda "ground truth" data som en jämförelse dataset. Vi diskuterar olika sätt att gå vidare med tanke på de begränsningar som identifierats. Slutligen lägger vi fram framtida riktlinjer för projektet Dataset Nutrition Label, inklusive forsknings- och samhällspolitiska agendor för att ytterligare överväga konceptet.
På samma sätt införs begreppet data nutrition etikett i REF, för ett liknande mål.
The Dataset Nutrition Label: A Framework To Drive Higher Data Quality Standards
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}