Distans metrisk inlärning (DML) är en viktig uppgift som har hittat tillämpningar inom många områden. Den höga beräkningskostnaden för DML härrör från det stora antalet variabler som ska fastställas och begränsningen att ett avstånd måste vara en positiv semidefinit (PSD) matris. Även om stokastisk lutning nedstigning (SGD) har tillämpats framgångsrikt för att förbättra effektiviteten av DML, kan det fortfarande vara beräknings dyrt för att säkerställa att lösningen är en PSD-matris. Den måste vid varje iteration projicera det uppdaterade avståndsmåttet på PSD-konen, en dyr operation. Vi tar itu med denna utmaning genom att utveckla två strategier inom SGD, dvs. mini-batch och adaptiv provtagning, för att effektivt minska antalet uppdateringar (dvs. prognoser på PSD-konen) i SGD. Vi utvecklar också hybrida metoder som kombinerar styrkan av adaptiv provtagning med den av mini-batch online inlärningstekniker för att ytterligare förbättra beräkningseffektiviteten för SGD för DML. Vi bevisar de teoretiska garantierna för både adaptiv provtagning och mini-batch-baserade metoder för DML. Vi genomför också en omfattande empirisk studie för att verifiera effektiviteten hos de föreslagna algoritmerna för DML.
REF minskar beräkningskostnaden genom att minska antalet PSD-prognoser.
Efficient distance metric learning by adaptive sampling and mini-batch stochastic gradient descent (SGD)
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}