Sachverhalt: Sachverhalt: A. X._, geb. 1943, verheiratete sich am 9. September 1999 mit Y._, geb. 1954. Die Eheleute bezogen am 15. Oktober 1999 eine gemeinsame Wohnung in Zug. X._ bezieht seit dem 1. Juli 2000 eine ordentliche Invalidenrente bei einem Invaliditätsgrad von 100%. Seine Ehefrau erhält seit dem 1. März 2001 ebenfalls eine ganze Invalidenrente aufgrund eines Invaliditätsgrades von 70%. Mit Schreiben vom 10. Dezember 1999 stellte X._ bei der Schweizerischen Inkassostelle für Radio- und Fernsehempfangsgebühren (Billag AG) ein Gesuch um Befreiung von den Radio- und Fernsehempfangsgebühren. Nachdem die Billag AG das Gesuch am 28. August 2000 abgelehnt und auch das Bundesamt für Kommunikation (BAKOM) die dagegen eingereichte Beschwerde am 13. Dezember 2000 abgewiesen hatte, erhob X._ am 8. Januar 2001 beim Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK) Beschwerde mit dem Antrag auf Befreiung von den Empfangsgebühren und Rückerstattung der seit dem 1. Januar 2000 geleisteten Zahlungen. Mit Wiedererwägungsentscheid vom 28. Mai 2002 befreite die Billag AG X._ mit Wirkung vom 1. Januar 2002 an von der Gebührenpflicht, hielt aber an der Gebührenforderung für die Zeit vom 1. Januar 2000 bis zum 31. Dezember 2001 fest. A. X._, geb. 1943, verheiratete sich am 9. September 1999 mit Y._, geb. 1954. Die Eheleute bezogen am 15. Oktober 1999 eine gemeinsame Wohnung in Zug. X._ bezieht seit dem 1. Juli 2000 eine ordentliche Invalidenrente bei einem Invaliditätsgrad von 100%. Seine Ehefrau erhält seit dem 1. März 2001 ebenfalls eine ganze Invalidenrente aufgrund eines Invaliditätsgrades von 70%. Mit Schreiben vom 10. Dezember 1999 stellte X._ bei der Schweizerischen Inkassostelle für Radio- und Fernsehempfangsgebühren (Billag AG) ein Gesuch um Befreiung von den Radio- und Fernsehempfangsgebühren. Nachdem die Billag AG das Gesuch am 28. August 2000 abgelehnt und auch das Bundesamt für Kommunikation (BAKOM) die dagegen eingereichte Beschwerde am 13. Dezember 2000 abgewiesen hatte, erhob X._ am 8. Januar 2001 beim Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK) Beschwerde mit dem Antrag auf Befreiung von den Empfangsgebühren und Rückerstattung der seit dem 1. Januar 2000 geleisteten Zahlungen. Mit Wiedererwägungsentscheid vom 28. Mai 2002 befreite die Billag AG X._ mit Wirkung vom 1. Januar 2002 an von der Gebührenpflicht, hielt aber an der Gebührenforderung für die Zeit vom 1. Januar 2000 bis zum 31. Dezember 2001 fest. B. Mit Entscheid vom 4. August 2003 hiess das Departement (UVEK) die gegen den Entscheid des Bundesamts (BAKOM) vom 13. Dezember 2000 eingereichte Beschwerde teilweise gut, soweit darauf einzutreten war. Dabei befreite es X._ von der Gebührenpflicht auch für die Zeit vom 1. Juli 2000 bis zum 31. Dezember 2000; hingegen wurden ihm die Gebühren für die Zeit vom 1. Januar 2000 bis zum 30. Juni 2000 und vom 1. Januar 2001 bis zum 31. Dezember 2001 nicht erlassen. B. Mit Entscheid vom 4. August 2003 hiess das Departement (UVEK) die gegen den Entscheid des Bundesamts (BAKOM) vom 13. Dezember 2000 eingereichte Beschwerde teilweise gut, soweit darauf einzutreten war. Dabei befreite es X._ von der Gebührenpflicht auch für die Zeit vom 1. Juli 2000 bis zum 31. Dezember 2000; hingegen wurden ihm die Gebühren für die Zeit vom 1. Januar 2000 bis zum 30. Juni 2000 und vom 1. Januar 2001 bis zum 31. Dezember 2001 nicht erlassen. C. Dagegen reichte X._ am 8. September 2003 Verwaltungsgerichtsbeschwerde beim Bundesgericht ein mit dem Antrag, die Gebühren seien "schon aus finanziellen Gründen" aufzuheben. Die Billag AG und das Bundesamt (BAKOM) haben auf Vernehmlassung verzichtet. Das Departement (UVEK) schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Mit Eingabe vom 8. November 2003 hat X._ unaufgefordert eine Stellungnahme eingereicht. Der Instruktionsrichter hat hierauf mit Schreiben vom 21. April 2004 X._ zur Beantwortung verschiedener Fragen aufgefordert. Dessen Stellungnahme vom 7. Mai 2004 wurde den übrigen Verfahrensbeteiligten zur Vernehmlassung zugestellt. Die Billag AG und das Departement (UVEK) haben ausdrücklich, das Bundesamt (BAKOM) stillschweigend auf Äusserung dazu verzichtet. 