Sachverhalt: Auf ein zufolge Verschlechterung des Gesundheitszustandes von L._ gestelltes Gesuch um Erhöhung der ihm gewährten Viertelsrente hin hob die IV-Stelle des Kantons Luzern diese mit Verfügung vom 12. September 2005 auf, weil keine rentenrelevante Invalidität mehr vorliege. Diese Verfügung bestätigte sie mit Einspracheentscheid vom 28. März 2006. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 8. August 2006 ab. Mit Verwaltungsgerichtsbeschwerde lässt L._ die Rückweisung der Sache zur Neubeurteilung an die Vorinstanz beantragen; eventuell sei ihm "rückwirkend ab dem Zeitpunkt, seit welchem er entweder mindestens zu 40 % bleibend erwerbsunfähig geworden oder während eines Jahres ohne wesentlichen Unterbruch durchschnittlich zu mindestens 50 % arbeitsunfähig gewesen ist, eine ganz IV-Rente auszurichten". Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten ist. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 