Sachverhalt: A. Am 26. September 2003 gebar Aleksandra Dzieglewska, schweizerisch-polnische Doppelbürgerin, in Aarau den Sohn Florian Stefan, der im Geburtsregister des Zivilstandskreises Aarau mit dem Namen "Dzieglewska", dem Namen seiner unverheirateten Mutter, eingetragen wurde. Am 27. November 2003 gelangte Florian Stefan Dzieglewska durch seine gesetzliche Vertreterin an das Gerichtspräsidium Aarau und verlangte gestützt auf Art. 42 Abs. 1 ZGB, der Eintrag "Dzieglewska" im Register sei zu berichtigen und es sei der Name "Dzieglewski" einzutragen. Das Departement des Innern (Sektion Bürgerrecht und Personenstand) des Kantons Aargau als kantonale Aufsichtsbehörde beantragte in seiner Stellungnahme vom 27.Januar 2004 die Abweisung des Begehrens. B. Das Gerichtspräsidium Aarau wies das Begehren mit Urteil vom 29. Januar 2004 ab. Zur Begründung wurde im Wesentlichen festgehalten, durch die Eintragung eines ausländischen Namens in das schweizerische Zivilstandsregister werde dieser zu einem schweizerischen Namen, so dass allfällige Namensregeln des Ursprungslandes nicht mehr berücksichtigt werden könnten. Florian Stefan Dzieglewska gelangte mit Beschwerde an das Obergericht (3. Zivilkammer) des Kantons Aargau, welches mit Urteil vom 1. Juni 2004 das erstinstanzliche Urteil bestätigte. C. Florian Stefan Dzieglewska führt mit Eingabe vom 14. Juli 2004 Verwaltungsgerichtsbeschwerde und beantragt dem Bundesgericht, das angefochtene Urteil sei aufzuheben und es sei anzuordnen, dass er im Geburtsregister mit dem berichtigten Namen "Dzieglewski" eingetragen werde. Weiter verlangt er die Befreiung von der Bezahlung der Gerichtskosten. Das Eidgenössische Justiz- und Polizeidepartement schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Obergericht und die kantonale Aufsichtsbehörde haben auf eine Vernehmlassung verzichtet. 