Sachverhalt: Sachverhalt: A. Am 21. März 2003 sprach die IV-Stelle Luzern dem zuletzt als Hilfsgärtner tätig gewesenen D._ (geb. 1964) Beratung und Unterstützung durch die IV-Stellenvermittlung zu. Mit Verfügung vom 15. Oktober 2003 lehnte sie den Anspruch auf eine Invalidenrente ab. Dem vom Versicherten einspracheweise gestellten Antrag folgend veranlasste sie die Durchführung einer beruflichen Abklärung in der BEFAS X._. Nach Eingang des entsprechenden Berichts vom 7. Januar 2005 wies sie die Einsprache ab (Entscheid vom 13. Januar 2005). A. Am 21. März 2003 sprach die IV-Stelle Luzern dem zuletzt als Hilfsgärtner tätig gewesenen D._ (geb. 1964) Beratung und Unterstützung durch die IV-Stellenvermittlung zu. Mit Verfügung vom 15. Oktober 2003 lehnte sie den Anspruch auf eine Invalidenrente ab. Dem vom Versicherten einspracheweise gestellten Antrag folgend veranlasste sie die Durchführung einer beruflichen Abklärung in der BEFAS X._. Nach Eingang des entsprechenden Berichts vom 7. Januar 2005 wies sie die Einsprache ab (Entscheid vom 13. Januar 2005). B. Die dagegen erhobene Beschwerde, mit welcher D._ die Aufhebung des Einspracheentscheides beantragte, weil ihm der BEFAS-Bericht nicht zur Einsichtnahme zugestellt und damit sein Anspruch auf rechtliches Gehör verletzt worden sei, wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 27. April 2006 ab. B. Die dagegen erhobene Beschwerde, mit welcher D._ die Aufhebung des Einspracheentscheides beantragte, weil ihm der BEFAS-Bericht nicht zur Einsichtnahme zugestellt und damit sein Anspruch auf rechtliches Gehör verletzt worden sei, wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 27. April 2006 ab. C. D._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, der angefochtene Entscheid sei aufzuheben; die Vorinstanz sei anzuweisen, die Sache zur Gewährung des rechtlichen Gehörs an die Verwaltung zurückzuweisen; zudem sei ihm die unentgeltliche Rechtspflege zu bewilligen. Verwaltung und Vorinstanz beantragen Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung. 