Sachverhalt: A. F._, geboren 1958, ist gelernter Maurer und arbeitete seit 1987 selbstständigerwerbend als Akkordmaurer; seit 1992 war er in dieser Eigenschaft für seine Firma "F._AG" tätig. Am 14. November 2002 meldete er sich wegen seit Juni 2001 anhaltenden Rückenbeschwerden bei der IV-Stelle Luzern zum Rentenbezug an. Ab 19. November 2001 attestierte ihm sein Hausarzt Dr. med. V._, bei anfänglich konservativer Behandlung eine volle Arbeitsunfähigkeit als Akkordmaurer (Bericht vom 15. April 2003). Zur Sanierung der degenerativen Diskopathie mit bereits fortgeschrittenem Segmentkollaps diskutierte Dr. med. S._, Neurochirurgie FMH, im Juni 2002 die Aufrichtung L4/5 mittels PLIF (posterior lumbar interbody fusion; Versteifungsoperation der Wirbelsäule), führte dann aber am 3. September 2002 auf Wunsch des Versicherten den minimal invasiven Eingriff einer Mikrodiskektomie L4/5 links durch (Operationsbericht vom 3. September 2002). Bereits im November 2002 beklagte sich F._ erneut über vermehrte Schmerzen im linken Bein, so dass der Hausarzt gemäss Bericht vom 18. November 2002 eine zweite Operation als sehr wahrscheinlich erforderlich erachtete. Dr. med. S._ bestätigte am 17. Dezember 2002 im angestammten Beruf als Maurer eine volle Arbeitsunfähigkeit, wies auf seinen Vorschlag einer operativen "Aufrichtung und Stabilisation L3 bis S1" hin und schätzte die zeitliche Zumutbarkeit einer angepassten Tätigkeit auf 50%, wobei der Versicherte infolge der verminderten axialen Belastbarkeit gewisse Tätigkeiten nicht ausüben könne und eine "Einschränkung um je 50-70%" zu berücksichtigen sei. Am 21. März 2003 führte Dr. med. S._ die Versteifungsoperation L3 bis S1 durch und setzte den Beginn einer aufbauenden Heilgymnastik frühestens auf einen Zeitpunkt drei bis vier Wochen nach der Operation fest. Am 6. Juni 2030 (recte: 2003) berichtete Dr. med. V._ von persistierenden respektive postoperativ nach der Reoperation vom 21. März 2003 erneut heftig auftretenden Beinschmerzen links. Der Hausarzt hielt eine Rückkehr des Versicherten an seinen Arbeitsplatz als Selbstständigerwerbender für fragwürdig und empfahl eine berufliche Neuorientierung, ohne sich bezüglich einer allfälligen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit zu äussern. Eine für die Zeit vom 12. Januar bis 6. Februar 2004 geplante Abklärung der beruflichen Eingliederungsmöglichkeiten in der Beruflichen Abklärungsstelle Stiftung X._ (nachfolgend: BEFAS) brach der Versicherte am 21. Januar 2004 schmerzbedingt ab. Die BEFAS wertete sein Verhalten als Verweigerung der Abklärung. Nachdem Dr. med. S._ mit Bericht vom 29. März 2004 die Zumutbarkeit der Durchführung einer beruflichen Abklärung bejaht und die IV-Stelle das Mahn- und Bedenkzeitverfahren eingeleitet hatten, konnte vom 17. Mai bis 11. Juni 2004 die BEFAS-Abklärung durchgeführt werden. Gestützt auf deren Ergebnisse verfügte die IV-Stelle am 8. Oktober 2004, dass der Versicherte keinen Anspruch auf Arbeitsvermittlung habe, weil er an seiner Auffassung festhalte, infolge Schmerzen nicht arbeiten zu können. Diese Verfügung blieb unangefochten. Bei einem ermittelten Invaliditätsgrad von 19% verneinte die IV-Stelle sodann den Anspruch auf eine Invalidenrente (Verfügung vom 16. November 2004). Die dagegen gerichtete Einsprache vom 9. Dezember 2004 basierte auf dem Bericht des Dr. med. S._ vom 22. November 2004, woraus hervor geht, dass die Computertomographie vom 27. September 2004 eine Zunahme der knöchernen Verblockung bei etwas engen Neuroforamina beidseits L5/S1 zeigte und der Versicherte nach Einschätzung des Neurochirurgen "noch zu 100% im Krankenstand" war. Mit Einspracheentscheid vom 30. Mai 2005 hielt die IV-Stelle an der Verfügung vom 16. November 2004 fest. B. Die hiegegen erhobene Beschwerde des F._ wies das Verwaltungsgericht des Kantons Luzern, Abgaberechtliche Abteilung, mit Entscheid vom 27. April 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt der nunmehr anwaltlich vertretene F._ beantragen, der angefochtene Entscheid sei aufzuheben und die Invalidenversicherung habe ihm eine Invalidenrente auszurichten. Eventualiter sei die Sache zur weiteren Abklärung und Neubeurteilung des Anspruchs auf eine Invalidenrente an die Vorinstanz zurückzuweisen. Zudem sei ihm die unentgeltliche Rechtspflege zu gewähren. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. D. Am 17. August 2006 lässt der Versicherte eine weitere Stellungnahme einreichen. 