Sachverhalt: A. Der 1967 geborene H._ meldete sich am 19. Juni 2009 bei der Invalidenversicherung zum Leistungsbezug an und machte dabei Schmerzen im Bereich der Halswirbelsäule (HWS), des Rückens, des Kopfs und der Schultern geltend. Die IV-Stelle des Kantons Bern klärte den Sachverhalt ab und holte am 6. April 2010 ein interdisziplinäres Gutachten bei Dr. med. L._, Facharzt für innere Medizin und Rheumatologie, und Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, ein. Im Vorbescheid vom 29. April 2010 stellte die IV-Stelle die Ablehnung des Leistungsbegehrens in Aussicht. Mit Verfügung vom 15. Juni 2010 entschied sie im Sinne ihres Vorbescheides und verneinte einen Rentenanspruch. B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 15. November 2010 ab. C. Mit Beschwerde lässt H._ die Aufhebung des vorinstanzlichen Entscheides und die Rückweisung der Angelegenheit an die IV-Stelle Bern zu einer neuen Sachverhaltsabklärung beantragen. Eventualiter sei eine ganze Rente der Invalidenversicherung auszurichten. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 