Abstract-The Gripon-Berrou neural network (GBNN) är en nyligen uppfunnen återkommande neurala nätverk som omfattar en LDPC-liknande sparse kodning setup som gör den extremt motståndskraftig mot buller och fel. En naturlig användning av GBNN är som ett associativt minne. Det finns två aktiveringsregler för neurondynamiken, nämligen SUM-OF-SUM och SUM-OF-MAX. Det sistnämnda överträffar det förra i fråga om återvinningsgrad med en enorm marginal. I tidigare diskussioner och experiment tror man att även om SUM-OF-SUM kan leda nätverket till oscillerande, konvergerar SUM-OF-MAX alltid till en ensemble av neuronkluster som motsvarar tidigare lagrade mönster. Detta är dock inte helt korrekt. I själva verket konvergerar SUM-OF-MAX ofta till falska fasta punkter där ensemblen endast består av en liten delmängd av det konvergerade tillståndet. Genom att dra fördel av detta förbisedda faktum kan vi avsevärt förbättra återvinningsgraden. Vi diskuterar just denna fråga och föreslår ett antal heuristiker för att driva SUM-OF-MAX bortom dessa falska fasta punkter. För att ta itu med problemet direkt och fullständigt utvecklas och anpassas en ny algoritm efter bearbetningen till strukturen i GBNN. Experimentella resultat visar att den nya algoritmen uppnår en enorm prestandaökning både vad gäller hämtningshastighet och körtid, jämfört med standard SUM-OF-MAX och alla andra heuristiker.
Yao och Al. REF upptäcker ett tidigare förbisett problem som nätverket kan konvergera till en falsk fast punkt och föreslår heuristik för att mildra problemet.
Improving Sparse Associative Memories by Escaping from Bogus Fixed Points
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}