Förutsägbara geometriska modeller levererar utmärkta resultat för många Machine Learning användningsfall. Trots deras obestridliga prestanda, neurala prediktiva algoritmer kan visa oväntade grader av instabilitet och varians, särskilt när det tillämpas på stora datauppsättningar. Vi presenterar en strategi för att mäta förändringar i geometriska modeller med avseende på både outputkonsistens och topologisk stabilitet. Med tanke på exemplet med ett recommender system med word2vec, analyserar vi påverkan av enstaka datapunkter, approximationsmetoder och parameterinställningar. Våra resultat kan bidra till att stabilisera modeller där det behövs och till att upptäcka skillnader i informationsvärden för datapunkter i stor skala.
Denna idé bygger på vår tidigare forskning om känslighet för maskininlärningssystem REF, där vi dissekerade påverkan av enstaka datapunkter på ett systems utdata.
Analyzing Hypersensitive AI: Instability in Corporate-Scale Machine Learning
{'venue': 'Proceedings of the 2nd Workshop on Explainable Artificial Intelligence (XAI 2018)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}