Sachverhalt: A. H._ (geboren 1957) meldete sich am 20. Oktober 2008 bei der Invalidenversicherung an und beantragte Massnahmen für die berufliche Eingliederung. Er war seit 1. März 2004 als Hauswart bei der P._ AG im Umfang von 15% und ab 12. November 2001 bis 31. Dezember 2005 bei der B._ AG und ab 1. Juni 2006 bis 31. Januar 2009 bei der O._ AG als Lieferwagen-Chauffeur tätig gewesen. Dr. med. et phil-nat. S._, damals Assistenzarzt in der Abteilung für Gastroenterologie des Universitätsspitals X._, diagnostizierte am 11. Februar 2009 mit Auswirkung auf die Arbeitsfähigkeit eine seit Juli 2008 bestehende Colitis ulcerosa sowie ohne Auswirkung auf die Arbeitsfähigkeit eine seit Dezember 2008 bestehende chronische Gastritis. Am 17. September 2010 beauftragte die IV-Stelle Basel das Institut Y._ mit der Erstellung eines Gutachtens. Dieses wurde, unterzeichnet von med. pract. C._, Arbeitsmedizin FMH, am 15. Juli 2011 erstattet, wobei keine Diagnose mit Einfluss auf die Arbeitsfähigkeit, jedoch verschiedene Diagnosen ohne Einfluss auf die Arbeitsfähigkeit, festgestellt wurden. Die Konklusion des Gutachtens wurde im Rahmen einer interdisziplinären Konsens-Konferenz am 4. Juli 2011 mit med. pract. C._, Dr. med. B._, Oberärztin Rheumatologie, Innere Medizin FMH, Dr. med. P._, Assistenzarzt Psychosomatik sowie Dr. med. et. phil.-nat. S._, Oberarzt Gastroenterologie, erarbeitet. Im aktuell beschwerdearmen Intervall der Colitis bestünden keine Einschränkungen der Arbeitsfähigkeit. Für körperlich leichte bis mittelschwere Tätigkeiten sei H._ ohne Einschränkung arbeitsfähig. Günstig wäre ein ungehinderter Zugang zu einer Toilette. Vermieden werden sollten Tätigkeiten mit häufigen Überkopfarbeiten, Arbeiten im Hocken oder Knien. Mit Vorbescheid vom 13. Dezember 2011 stellte die IV-Stelle Basel die Ablehnung eines Rentenanspruches in Aussicht. Dagegen wurde am 26. Januar 2012 Einwand erhoben. Obwohl am 30. Januar 2012 Nachfrist für eine Verbesserung der Stellungnahme bis 15. Februar 2012 eingeräumt wurde, verfügte die IV-Stelle Basel bereits am 15. Februar 2012 die Abweisung eines IV-Rentenanspruches. B. Am 20. März 2012 liess H._ gegen die Verfügung der IV-Stelle Basel-Stadt vom 15. Februar 2012 Beschwerde erheben und dabei die Aufhebung der Verfügung der IV-Stelle Basel-Stadt und die Ausrichtung nach Massgabe der bestehenden Erwerbsunfähigkeit und Invalidität einer Invalidenrente ab wann rechtens beantragen. Das Sozialversicherungsgericht Basel-Stadt wies nach Durchführung einer mündlichen, öffentlichen Verhandlung mit Entscheid vom 15. Oktober 2012 die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ die Aufhebung des vorinstanzlichen Entscheids vom 15. Oktober 2012 und der Verfügung der IV-Stelle Basel-Stadt vom 15. Februar 2012 beantragen. Es seien ihm nach Massgabe der bestehenden Erwerbsunfähigkeit und Invalidität im Umfang von 100% in der Zeit vom 1. Mai 2009 bis Dezember 2010 und ab 1. Januar 2011 von mindestens 51% die gesetzlichen Leistungen inkl. qualifizierte berufliche Integrationsmassnahmen (inkl. Umschulung auf eine angepasste Tätigkeit) zuzusprechen. Das kantonale Gericht verzichtet auf eine Vernehmlassung. Die IV-Stelle des Kantons Basel-Stadt beantragt die Gutheissung der Beschwerde, unter Aufhebung des Entscheids der Vorinstanz vom 15. Oktober 2012 und ihrer Verfügung vom 15. Februar 2012 und Rückweisung der Sache an sie zu weiteren Abklärungen. Der Beschwerdeführer hat sich am 15. Februar 2013 nochmals geäussert. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen. 