Sachverhalt: A. Mit Verfügung vom 2. April 2003 sprach die IV-Stelle Nidwalden dem 1953 geborenen Z._ rückwirkend ab 1. Mai 1996 eine halbe Invalidenrente zu. Die Nachzahlung der beiden Kinderrenten für O._ und R._ im Betrag von Fr. 67'822.-, einschliesslich des Vergütungszinses und der Betreffnisse für den Monat April 2003, erfolgte gemäss einer weiteren Verfügung vom 2. April 2003 an die geschiedene Ehefrau E._. Z._ liess gegen die verfügte Ausrichtung der Kinderrenten an seine geschiedene Ehefrau Einsprache erheben. Mit Entscheid vom 7. Juli 2003 hob die IV-Stelle die angefochtene Verfügung vom 2. April 2003 in Gutheissung der Einsprache insoweit auf, als darin die Nachzahlung der Kinderrenten an die Mutter angeordnet wurde, und veranlasste die Nachzahlung des Betrages von Fr. 67'822.- an Z._. Weiter verpflichtete sie sich, von E._ diesen zu Unrecht ausbezahlten Betrag zurückzufordern. Den in der Einsprache gestellten Antrag auf Zusprechung einer Parteientschädigung lehnte die IV-Stelle ab. B. Z._ liess Beschwerde führen mit dem Begehren, unter teilweiser Aufhebung des Einspracheentscheides sei ihm für das Einspracheverfahren eine Parteientschädigung zuzusprechen. Mit Entscheid vom 22. Dezember 2003 wies das Versicherungsgericht des Kantons Nidwalden die Beschwerde ab. C. Mit Verwaltungsgerichtsbeschwerde lässt Z._ den vorinstanzlich gestellten Antrag erneuern. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung. 