Sachverhalt: A. A._, geboren 1943, ist Landwirt und bezog seit 1996 wegen Rückenbeschwerden eine halbe Invalidenrente. Mit Verfügung vom 4. Juni 2003 hob die IV-Stelle Luzern die Invalidenrente revisionsweise auf. Am 24. Juni 2003 beauftragte und bevollmächtigte der Versicherte H._, Rechtsanwalt des Rechtsdienstes X._, mit der Wahrung seiner Interessen betreffend Leistungen der Invalidenversicherung. Dieser Rechtsdienst verrechnet den Aufwand Verbandsmitgliedern zu einem Stundenansatz von Fr. 120.- und Nichtmitgliedern zu einem Ansatz von Fr. 150.-. Einspracheweise liess er im Wesentlichen die Aufhebung der angefochtenen Verfügung vom 4. Juni 2003, die unveränderte Ausrichtung einer halben Invalidenrente sowie die Gewährung der unentgeltlichen Rechtspflege beantragen. Mit Einspracheentscheid vom 13. Januar 2004 hielt die IV-Stelle an der Verfügung fest und verneinte den Anspruch auf unentgeltliche Verbeiständung im Einspracheverfahren. 