Sachverhalt: A. Am 31. Oktober 2003 verkaufte die Berg-Bahnen C._ & D._ AG ihre Parzelle Z._-GBB-... an die aus der E._ AG und F._ bestehende einfache Baugesellschaft "wohlgelegen" und die Nachbarparzelle Nr. 1 an G._. Die Verkäuferin war im Besitz einer Baubewilligung zur Erstellung eines Mehrfamilienhauses auf der Parzelle Nr. 2. Gegen die Erteilung dieser Baubewilligung hatten A._ und B._ als Eigentümer der Parzelle Nr. 3 und H._ als Eigentümer der Parzelle Nr. 4 Einsprache erhoben. In Zusammenhang mit diesem Verfahren schlossen die Baugesellschaft "wohlgelegen", die mit Rechten und Pflichten in die Rechtstellung der ehemaligen Eigentümerin der zu überbauenden Parzelle eingetreten war, und G._ einerseits sowie das Ehepaar A._ und B._ und H._ andererseits einen Vergleich, wonach die Einsprecher ihr Rechtsmittel zurückzögen und dafür von der Baugesellschaft mit einer Inkonvenienzentschädigung von Fr. 130'000.-- abgefunden würden. Überdies räumten die Baugesellschaft und G._ dem Ehepaar A._ und B._ zu Lasten ihrer Parzellen Nrn. 2 und 1 und zu Gunsten derer Parzelle Nr. 3 ein unbeschränktes Fuss- und Fahrwegrecht ein. Der jeweilige Eigentümer dieser Parzelle sollte das Recht haben, über die belasteten Grundstücke bis zu seiner Liegenschaft eine Zufahrt für die Erschliessung einer nach Baugesetz realisierbaren Wohnbaute und den nach Baugesetz zu dieser verlangten Parkplätzen zu erstellen. Ferner verpflichteten sich die Baugesellschaft und G._, gegen ein künftiges, von den Eigentümern der Parzelle Nr. 3 beabsichtigtes Gesuch um Aufzonung ihrer Liegenschaft weder ein Rechtsmittel zu erheben noch Anträge zu stellen oder gegen ein Bauvorhaben zu opponieren. Für den Widerhandlungsfall wurde eine Konventionalstrafe von Fr. 150'000.-- vereinbart. Das Fuss- und Fahrwegrecht sowie der ebenfalls als Grunddienstbarkeit gedachte Einspracheverzicht sollten dem Grundbuchamt Z._ zur unwiderruflichen Eintragung angemeldet werden. B. Mit Verfügung vom 26. Februar 2004 wies das Grundbuchamt Z._ die am 18. Februar 2004 beantragte Eintragung ab mit der Begründung, eine Grunddienstbarkeit des Inhalts, dass der belastete Eigentümer künftig generell auf sein Einspracherecht gegen Bauvorhaben auf dem berechtigten Grundstück verzichte, sei unzulässig. Mit Verfügung vom 25. Mai 2004 wies das Departement des Innern und der Volkswirtschaft die dagegen erhobene Grundbuchbeschwerde ab. Desgleichen wies das Kantonsgericht von Graubünden die hiergegen erhobene zivilrechtliche Berufung mit Urteil vom 29. September 2004 ab. C. Gegen das Urteil des Kantonsgerichts haben A._ und B._ am 13. Dezember 2004 Verwaltungsgerichtsbeschwerde ans Bundesgericht erhoben mit den Begehren um dessen Aufhebung und um Eintragung der am 18. Februar 2004 beim Grundbuchamt Z._ angemeldeten Dienstbarkeiten. Am 2. Februar 2005 reichte das Bundesamt für Justiz seine Vernehmlassung ein, wozu das Ehepaar A._ und B._ am 14. März 2005 Stellung nahm. 