Vi introducerar en allmän och enkel strukturell design som kallas "Multiplicativ integration" (MI) för att förbättra återkommande neurala nätverk (RNN). MI ändrar det sätt på vilket information från olika källor flödar och integreras i beräkningsblocket för en RNN, samtidigt som nästan inga extra parametrar införs. Den nya strukturen kan enkelt inbäddas i många populära RNN-modeller, inklusive LSTM och GRU. Vi analyserar empiriskt dess inlärningsbeteende och utvärderar flera uppgifter med hjälp av olika RNN-modeller. Våra experimentella resultat visar att multiplikativ integration kan ge en betydande förbättring jämfört med många av de befintliga RNN-modellerna. * Lika lön.
Denna specifika form av RNN har också empiriskt visat sig ge en betydande förbättring jämfört med standard RNN-modeller REF.
On Multiplicative Integration with Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}