Sachverhalt: Sachverhalt: A. Mit Verfügung vom 21. Oktober 1997 sprach die IV-Stelle des Kantons Luzern dem zuletzt als Bauhilfsarbeiter tätig gewesenen M._ vom 1. Juli 1995 bis 31. August 1996 abgestufte Invalidenrenten zu, was das Verwaltungsgericht des Kantons Luzern mit rechtskräftigem Entscheid vom 20. August 1999 bestätigte. Am 11. Februar 2000 stellte M._ ein neues Rentenbegehren, welches die IV-Stelle mit Verfügung vom 14. Mai 2004 ablehnte, mit der sinngemässen Begründung, eine leichte Tätigkeit sei zu 100 % zumutbar und es werde kein Invaliditätsgrad erreicht, bei dem der Anspruch auf eine Invalidenrente gegeben sei. Sie bestätigte dies mit Einspracheentscheid vom 5. August 2005. Am 11. Februar 2000 stellte M._ ein neues Rentenbegehren, welches die IV-Stelle mit Verfügung vom 14. Mai 2004 ablehnte, mit der sinngemässen Begründung, eine leichte Tätigkeit sei zu 100 % zumutbar und es werde kein Invaliditätsgrad erreicht, bei dem der Anspruch auf eine Invalidenrente gegeben sei. Sie bestätigte dies mit Einspracheentscheid vom 5. August 2005. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 22. Mai 2006 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 22. Mai 2006 ab. C. M._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Sache sei unter Aufhebung des angefochtenen Entscheides zur Durchführung einer medizinischen Begutachtung an die Vorinstanz zurückzuweisen; zudem sei ihm die unentgeltliche Rechtspflege zu gewähren. Verwaltung und Vorinstanz schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung. 