Utbildade modeller för maskininlärning används i allt högre grad för att utföra viktiga uppgifter inom områden som brottsbekämpning, medicin, utbildning och sysselsättning. För att klargöra den avsedda användningen fall av maskininlärning modeller och minimera deras användning i sammanhang som de inte är väl lämpade för, rekommenderar vi att släppt modeller åtföljas av dokumentation som beskriver deras prestanda egenskaper. I detta dokument föreslår vi en ram som vi kallar modellkort för att uppmuntra en sådan öppen modellrapportering. Modellkort är korta dokument som åtföljer utbildade maskininlärningsmodeller som ger benchmarking i en mängd olika förhållanden, såsom mellan olika kulturella, demografiska eller fenotypiska grupper (t.ex. ras, geografiskt läge, kön, Fitzpatrick hudtyp [17] ) och intersektionella grupper (t.ex. ålder och ras, eller kön och Fitzpatrick hudtyp) som är relevanta för de avsedda användningsområdena. Modellkorten visar också i vilket sammanhang modellerna är avsedda att användas, närmare uppgifter om förfarandena för utvärdering av prestanda och annan relevant information. Medan vi främst fokuserar på människocentrerade maskininlärningsmodeller inom tillämpningsområdena datorseende och bearbetning av naturligt språk, kan detta ramverk användas för att dokumentera alla utbildade maskininlärningsmodeller. För att konsolidera konceptet tillhandahåller vi kort för två övervakade modeller: En tränad för att upptäcka leende ansikten i bilder, och en tränad för att upptäcka giftiga kommentarer i text. Vi föreslår modellkort som ett steg mot en ansvarsfull demokratisering av maskininlärning och relaterad AI-teknik, vilket ökar insynen i hur väl AI-teknik fungerar. Vi hoppas att detta arbete uppmuntrar dem som släpper utbildade modeller för maskininlärning att följa med modellutgåvor med liknande detaljerade utvärderingsnummer och annan relevant dokumentation.
Utanför hälso- och sjukvården har preliminära insatser påbörjats för att standardisera dokumentation för att följa med en tränad maskininlärningsmodell REF.
Model Cards for Model Reporting
{'venue': "FAT* '19: Conference on Fairness, Accountability, and Transparency, January 29--31, 2019, Atlanta, GA, USA", 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}