Djupa neurala nätverk fungerar bra på att approximera komplicerade funktioner när de tillhandahålls med data och tränas genom gradient nedstigningsmetoder. Samtidigt finns det en stor mängd befintliga funktioner som programmatiskt löser olika uppgifter på ett exakt sätt eliminerar behovet av utbildning. I många fall är det möjligt att bryta ner en uppgift till en serie funktioner, av vilka för vissa kan vi föredra att använda ett neuralt nätverk för att lära sig funktionaliteten, medan för andra den föredragna metoden skulle vara att använda befintliga svart-box funktioner. Vi föreslår en metod för end-to-end utbildning av en bas neurala nätverk som integrerar samtal till befintliga blackbox funktioner. Vi gör det genom att approximera den svarta lådan funktionalitet med en differentiable neurala nätverk på ett sätt som driver basnätverket för att uppfylla Black-box funktionsgränssnittet under end-to-end optimeringsprocessen. Vid slutänden ersätter vi den differentierade estimatorn med dess externa blackbox icke-differentiable motsvarighet så att basnätverksutmatningen matchar inmatningsargumenten i funktionen black-box. Med hjälp av detta "Estimate and Replace" paradigm tränar vi ett neuralt nätverk, ända till slutet, för att beräkna indata till blackbox funktionalitet samtidigt eliminera behovet av mellanliggande etiketter. Vi visar att genom att utnyttja den befintliga exakta black-box funktionen under inference, den integrerade modellen generaliserar bättre än en helt differentiable modell, och lär sig mer effektivt jämfört med RL-baserade metoder.
Jacovi, Alon och Al. I REF föreslogs en metod för end-to-end-utbildning av ett basneuralt nätverk som integrerar samtal till befintliga Black-box-funktioner.
Neural network gradient-based learning of black-box function interfaces
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}