Designen av neurala arkitekturer för strukturerade objekt styrs vanligtvis av experimentella insikter snarare än en formell process. I detta arbete vädjar vi till kärnor över kombinatoriska strukturer, såsom sekvenser och grafer, att härleda lämpliga neurala operationer. Vi introducerar en klass av djupt återkommande neurala operationer och formellt karakteriserar deras associerade kärnrymder. Våra återkommande moduler jämför inmatningen till virtuella referensobjekt (jfr. filter i CNN) via kärnorna. Liknar traditionella neurala operationer, dessa referensobjekt är parameteriserade och direkt optimerade i end-to-end utbildning. Vi utvärderar empiriskt den föreslagna klassen av neurala arkitekturer på standardapplikationer som språkmodellering och molekylär grafregression, och uppnår toppmoderna resultat i dessa applikationer.
Återkommande neurala operationer för grafer har införts med deras tillhörande kärnrymder REF.
Deriving Neural Architectures from Sequence and Graph Kernels
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}