Sachverhalt: A. A.a Mit öffentlich beurkundetem Kaufvertrag vom 9. Oktober 1980 erwarben B._ und C._ von A._ das Grundstück Z._-Gbbl. Nr. ... zu hälftigem Miteigentum. Der Kaufpreis von insgesamt Fr. 326'000.-- wurde durch solidarische Übernahme der Bankschuld gegenüber der Bank F._ sowie durch Barzahlung getilgt. Gleichzeitig gewährte der Verkäufer den Käufern ein Darlehen von Fr. 8'000.--. Diese Solidarschuld wurde durch die Eintragung eines Grundpfandrechts in Gestalt eines Namensschuldbriefs auf der verkauften Liegenschaft im fünften Rang gesichert. Der Schuldbrief wurde in der Folge ausgestellt und an A._ ausgehändigt. A.b Am 23. August 1983 verkauften B._ und C._ die Liegenschaft an Y._. Der Kaufpreis von Fr. 439'000.-- wurde getilgt durch die Übernahme der gegenüber der Bank F._ bestehenden und durch die Schuldbriefe in den Rängen eins bis und mit vier gesicherten Schuld von insgesamt Fr. 309'900.--, sowie durch Zahlung des Restbetrages. Im Weiteren wurde vereinbart, dass der im fünften Rang eingetragene Schuldbrief über Fr. 8'000.-- unentgeltlich an die Käuferin oder einen von ihr bezeichneten Dritten übertragen werde. A._ indossierte und übergab den genannten Schuldbrief am Verurkundungstag direkt an Y._. A.c Y._ verkaufte die Liegenschaft am 27. Februar 1987 weiter an D._ und E._ zu Gesamteigentum. Der Kaufpreis von Fr. 475'000.-- wurde durch die Übernahme der gegenüber der Bank F._ bestehenden und durch die Schuldbriefe in den Rängen ein bis und mit vier gesicherten Schuld von insgesamt Fr. 299'900.--, sowie durch Zahlung des Restbetrages getilgt. Der im fünften Rang eingetragene Schuldbrief über Fr. 8'000.-- wurde bei der Wiedergabe des Grundbuchauszugs als Eigentümerschuldbrief aufgeführt. Diesbezüglich wurde weder eine Schuldübernahme noch eine Übergabe vereinbart. Der genannte Schuldbrief verblieb bei Y._. A.d X._ erhielt die Liegenschaft am 29. Mai 2001 von seinen Eltern, D._ und E._, geschenkt. In der Folge gelangte X._ erfolglos an Y._, um sie zur Herausgabe des Schuldbriefes zu bewegen. B. X._ reichte am 17. Februar 2003 beim Gerichtskreis VIII Bern-Laupen Klage gegen Y._ ein. Er beantragte, diese unter Strafandrohung im Unterlassungsfall zur unentgeltlichen und unbelasteten Herausgabe des Eigentümerschuldbriefes über Fr. 8'000.--, lastend auf seinem Grundstück Z._-Gbbl. Nr. ... im fünften Rang, zu verpflichten. Mit Urteil vom 24. Oktober 2003 wurde die Klage von X._ abgewiesen. Die Gerichtskosten wurden den Parteien hälftig auferlegt und die Parteikosten wettgeschlagen. Auf Appellation von X._ bestätigte der Appellationshof des Kantons Bern am 20. Januar 2004 das vorinstanzliche Urteil und wies die Klage ebenfalls ab. Hingegen schützte er die von Y._ erhobene Anschlussappellation und verurteilte X._ zur Tragung sämtlicher erstinstanzlichen Gerichtskosten und zur Leistung einer angemessenen Parteientschädigung an Y._ für das Verfahren vor erster Instanz. C. Mit Berufung vom 23. Februar 2004 beantragt X._ dem Bundesgericht, das Urteil des Appellationshofs des Kantons Bern vom 20. Januar 2004 aufzuheben, und Y._ unter Strafandrohung im Unterlassungsfall zur unentgeltlichen und unbelasteten Herausgabe des Eigentümerschuldbriefes, lastend auf seinem Grundstück Z._-Gbbl. Nr. ... im fünften Rang, zu verpflichten. Y._ schliesst auf Abweisung der Berufung, soweit darauf einzutreten sei. Der Appellationshof des Kantons Bern hat anlässlich der Aktenübersendung keine Bemerkungen angebracht. X._ hat in der gleichen Sache auch eine staatsrechtliche Beschwerde erhoben, welche das Bundesgericht mit Urteil vom heutigen Tag abgewiesen hat (Verfahren 5P.77/2004). 