Sachverhalt: Sachverhalt: A. Der 1981 geborene J._ brach im April 2001 eine im Mai 2000 bei der Garage X._ begonnene Lehre als Automonteur ab. Er arbeitete anschliessend bis Ende 2001 temporär, absolvierte von März bis August 2002 Militärdienst in Serbien und war dann bis 14. Oktober 2003 als Lagermitarbeiter bei der Firma Y._ tätig. Das Arbeitsverhältnis wurde per Ende April 2004 aufgelöst. J._ meldete sich im März 2004 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen beruflicher und medizinischer Art erteilte die IV-Stelle Zug mit Verfügung vom 9. Juni 2005 die Kostengutsprache für ein Arbeitstraining im Z._ Office ab 27. März bis 26. September 2005. J._ liess dagegen Einsprache erheben und beantragen, das bewilligte Arbeitstraining sei auf 21. August 2005 zu begrenzen und im Anschluss daran sei ab 22. August 2005 eine erstmalige berufliche Ausbildung für die kaufmännische Grundausbildung zu gewähren. Die IV-Stelle wies die Einsprache mit Entscheid vom 21. September 2005 ab. A. Der 1981 geborene J._ brach im April 2001 eine im Mai 2000 bei der Garage X._ begonnene Lehre als Automonteur ab. Er arbeitete anschliessend bis Ende 2001 temporär, absolvierte von März bis August 2002 Militärdienst in Serbien und war dann bis 14. Oktober 2003 als Lagermitarbeiter bei der Firma Y._ tätig. Das Arbeitsverhältnis wurde per Ende April 2004 aufgelöst. J._ meldete sich im März 2004 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen beruflicher und medizinischer Art erteilte die IV-Stelle Zug mit Verfügung vom 9. Juni 2005 die Kostengutsprache für ein Arbeitstraining im Z._ Office ab 27. März bis 26. September 2005. J._ liess dagegen Einsprache erheben und beantragen, das bewilligte Arbeitstraining sei auf 21. August 2005 zu begrenzen und im Anschluss daran sei ab 22. August 2005 eine erstmalige berufliche Ausbildung für die kaufmännische Grundausbildung zu gewähren. Die IV-Stelle wies die Einsprache mit Entscheid vom 21. September 2005 ab. B. Die hiegegen erhobene Beschwerde, mit welcher J._ wiederum die Begrenzung des zugesprochenen Arbeitstrainings bis 21. August 2005 sowie die Zusprechung einer erstmaligen beruflichen Ausbildung ab 22. August 2005 beantragen liess, wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 4. Mai 2006 ab. B. Die hiegegen erhobene Beschwerde, mit welcher J._ wiederum die Begrenzung des zugesprochenen Arbeitstrainings bis 21. August 2005 sowie die Zusprechung einer erstmaligen beruflichen Ausbildung ab 22. August 2005 beantragen liess, wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 4. Mai 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt J._ die Zusprechung einer erstmaligen beruflichen Ausbildung, eventualiter einer Umschulung ab 22. August 2005 beantragen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 