Sachverhalt: A. Mit Verfügung vom 2. April 2002 sprach die IV-Stelle des Kantons Freiburg Z._ rückwirkend ab 1. Oktober 2001 anstelle der bis dahin gewährten halben neu eine ganze Invalidenrente zu. Der Verfügung ist weiter zu entnehmen, dass von der daraus für die Zeit ab 1. Oktober 2001 bis 31. März 2002 resultierenden Rentennachzahlung Fr. 9'756.- direkt an die 'Bupa 85', Fr. 4'872.- an die Zürich Versicherung und Fr. 1'887.50 an die Visana (jeweils zwecks Verrechnung mit von diesen Institutionen geltend gemachten Rückforderungen) ausbezahlt würden. B. Gegen die angekündigten Drittauszahlungen liess Z._ Beschwerde ans Verwaltungsgericht des Kantons Freiburg erheben. Im Laufe des Verfahrens anerkannte er die Zulässigkeit der Zahlung an die Ausgleichskasse 'Bupa 85 ' und zog die Beschwerde in diesem Punkt zurück. - Soweit damit nicht gegenstandslos geworden, wies das kantonale Gericht die Beschwerde mit Entscheid vom 17. Juli 2003 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt Z._ die direkte Auszahlung von Fr. 6'759.50 an ihn unter Aufhebung der von der Verwaltung angekündigten und vorinstanzlich bestätigten Drittauszahlungen an die Zürich und an die Visana beantragen. Die IV-Stelle schliesst unter Hinweis auf eine Stellungnahme der für die Rentenauszahlung zuständigen Ausgleichskasse des Schweizerischen Gewerbes auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung (BSV) verzichtet auf eine Vernehmlassung. Die Zürich und die Visana, beide als Mitbeteiligte zur Stellungnahme eingeladen, tragen je ebenfalls auf Abweisung der Verwaltungsgerichtsbeschwerde an. 