Vi har bevittnat en snabb utveckling av den djupa neurala nätverksarkitekturen under de senaste åren. Dessa senaste framsteg underlättar i hög grad utvecklingen inom olika områden såsom datorseende, bearbetning av naturligt språk osv. Men tillsammans med den extraordinära prestandan medför dessa toppmoderna modeller också dyra beräkningskostnader. Att direkt distribuera dessa modeller i tillämpningar med realtidskrav är fortfarande ogenomförbart. Nyligen, Hinton et al. [1] har visat att den mörka kunskapen inom en kraftfull lärarmodell avsevärt kan hjälpa utbildningen av ett mindre och snabbare studentnätverk. Dessa kunskaper är till stor nytta för att förbättra studentmodellens generaliseringsförmåga. Inspirerade av deras arbete introducerar vi en ny typ av kunskap - tvärprov likheter för modellkompression och acceleration. Denna kunskap kan naturligt härledas från djup metrisk inlärningsmodell. För att överföra dem tar vi inlärningen för att rangordna tekniken i djup metrisk inlärningsformulering. Vi testar vår föreslagna DarkRank på återidentifieringen av fotgängare. Resultaten är ganska uppmuntrande. Vår DarkRank kan med stor marginal förbättra sig över baslinjemetoden. Dessutom är det helt förenligt med andra befintliga metoder. När den kombineras kan prestandan ökas ytterligare.
Chen och Al. REF för in tekniken "inlärning att rangordna" i djup metrisk inlärning för kunskapsöverföring.
DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities Transfer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}