I regressionsuppgifter är fördelningen av data ofta alltför komplex för att kunna monteras med en enda modell. Däremot utvecklas partitionsbaserade modeller där data delas och monteras av lokala modeller. Dessa modeller delar upp inmatningsutrymmet och utnyttjar inte input-output-beroendet av multimodala distribuerade data, och starka lokala modeller behövs för att göra goda förutsägelser. För att ta itu med dessa problem föreslår vi en binär trädstrukturerad hierarkisk routing blandning av experter (HRME) modell som har klassificeringar som icke-blad nod experter och enkla regressionsmodeller som blad nod experter. Klassifiern noder gemensamt mjuka partition input-output utrymme baserat på den naturliga separatiteten av multimodala data. Detta gör det möjligt för enkla bladexperter att vara effektiva för förutsägelser. Vidare utvecklar vi en probabilistisk ram för HRME-modellen, och föreslår en rekursiv förväntan-Maximisering (EM) baserad algoritm för att lära sig både trädstrukturen och expertmodellerna. Experiment på en samling regressionsuppgifter validerar effektiviteten av vår metod jämfört med en mängd andra regressionsmodeller.
Likaså, binära trädstrukturerad hierarkisk routing blandning av experter (HRME) modell, som har klassificeringar som icke-blad nod experter och enkla regressionsmodeller som blad nod experter, föreslogs i REF.
Hierarchical Routing Mixture of Experts
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}