Rekommendationsproblem med ett stort antal diskreta objekt, såsom produkter, webbsidor eller videor, är allmänt förekommande inom teknikindustrin. Djupa neurala nätverk används alltmer för dessa rekommendationsproblem. Dessa modeller använder inbäddningar för att representera diskreta objekt som kontinuerliga vektorer, och ordförrådsstorlekar och inbäddningsmått, även om de i hög grad påverkar modellens noggrannhet, väljs ofta manuellt på ett heuristiskt sätt. Vi presenterar Neural Input Search (NIS), en teknik för att lära sig de optimala ordförrådsstorlekarna och inbädda dimensioner för kategoriska funktioner. Målet är att maximera förutsägelsen noggrannhet föremål för en begränsning av det totala minne som används av alla inbäddningar. Dessutom hävdar vi att det traditionella Single-size Embedding (SE), som använder samma inbäddning dimension för alla värden av en funktion, lider av ineffektiv användning av modellkapacitet och utbildningsdata. Vi föreslår en ny typ av inbäddning, nämligen Multi-size Embedding (ME), som gör att inbäddningsdimensionen kan variera för olika värden av funktionen. Under utbildningen använder vi förstärkningslärande för att hitta den optimala ordförrådsstorleken för varje funktion och inbäddning dimension för varje värde på funktionen. I experiment på två vanliga typer av storskaliga rekommendationsproblem, d.v.s. NIS hittade automatiskt bättre ordförråd och inbäddade storlekar som resulterar i 6,8 % och 1,8 % relativa förbättringar på Recall@1 och ROC-AUC jämfört med manuellt optimerade.
Joglekar REF använde först NAS i storskaliga rekommendationsmodeller och föreslog en ny typ av inbäddning som heter Multi-size Embedding (ME).
Neural Input Search for Large Scale Recommendation Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}