Vi presenterar kontrollpunktens ensembler metod som kan lära sig ensemblemodeller på en enda träningsprocess. Även om checkpoint ensembler kan tillämpas på någon parametrisk iterativ inlärningsteknik, här fokuserar vi på neurala nätverk. Neurala nätverk "komposerbara och enkla neuroner gör det möjligt att fånga många individuella och interaktionseffekter mellan funktioner. Små provstorlekar och provtagningsbuller kan dock resultera i mönster i träningsdata som inte är representativa för det verkliga förhållandet mellan egenskaperna och resultatet. Som lösning används ofta legalisering under träningen (t.ex. avhopp). Men, legalisering är inget universalmedel - det tar inte perfekt upp översittande. Även med metoder som avhopp används två metoder ofta i praktiken. Först är att använda en validering set oberoende av utbildningen set som ett sätt att bestämma när man ska stoppa utbildning. För det andra att använda ensemble metoder för att ytterligare minska överutrustning och dra nytta av lokala optima (dvs. genomsnitt över förutsägelserna för flera modeller). I denna uppsats utforskar vi checkpoint-ensembler -en enkel teknik som kombinerar dessa två idéer i en träningsprocess. Checkpoint-ensembler förbättrar prestandan genom att beräkna prognoserna från "checkpoints" för de bästa modellerna inom en och samma utbildningsprocess. Vi använder tre verkliga datamängder - text, bild och elektroniska hälsodata - med hjälp av tre förutsägelsemodeller: ett vaniljneuralt nätverk, ett konvolutionellt neuralt nätverk, och ett långtidsminne nätverk för att visa att checkpoint ensembler överträffar befintliga metoder: en metod som väljer en modell efter minsta validering poäng, och två metoder som genomsnittliga modeller efter vikter. Våra resultat visar också att checkpoint ensembler fångar en del av de prestandavinster som traditionella ensembler ger.
Checkpoint ensemble ger en metod för att samla rikliga modeller inom en enda utbildningsprocess REF.
Checkpoint Ensembles: Ensemble Methods from a Single Training Process
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}