Vi utforskar självövervakade modeller som kan användas på mobila enheter för att lära oss allmänna ljudrepresentationer. Vi föreslår metoder som utnyttjar tidssammanhanget inom spektrogrammet. En metod uppskattar temporal gapet mellan två korta ljudsegment extraheras slumpmässigt från samma ljudklipp. De andra metoderna är inspirerade av Word2Vec, en populär teknik som används för att lära sig ordet inbäddningar, och syftar till att rekonstruera en temporal spektrogram skiva från förflutna och framtida skivor eller, alternativt, att rekonstruera kontexten av omgivande skivor från den aktuella biten. Vi fokuserar vår utvärdering på små kodare arkitekturer, som potentiellt kan köras på mobila enheter under både inference (återanvända en gemensam inlärd representation över flera nedströms uppgifter) och utbildning (fånga den verkliga datadistributionen utan att äventyra användarnas integritet i kombination med federerat lärande). Vi utvärderar kvaliteten på de inbäddningar som produceras av de självövervakade lärande modellerna, och visar att de kan återanvändas för en mängd olika nedströms uppgifter, och för vissa uppgifter även närma sig utförandet av fullt övervakade modeller av liknande storlek.
Tidsgapets uppgift i REF uppskattar tidsavståndet mellan två arXiv:1910.11910v1 [personer.
Self-supervised audio representation learning for mobile devices
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Engineering', 'Computer Science', 'Mathematics']}