Sachverhalt: A. Der 1971 geborene, aus Gambia stammende X._ reiste in der zweiten Jahreshälfte 1997 in die Schweiz ein. Am 29. Oktober 1997 heiratete er nach ungefähr zweimonatiger Bekanntschaft die 1965 geborene Schweizer Bürgerin A._. Am 2. Juli 2002 stellte X._ ein Gesuch um erleichterte Einbürgerung. Im März 2003 teilte seine Ehefrau der kantonalen Einbürgerungsbehörde mit, X._ setze sie bezüglich seiner Einbürgerung unter Druck. Im folgenden Monat nahm sie ihre Aussagen mit dem Hinweis auf die inzwischen erfolgte Versöhnung unter den Ehegatten zurück und drängte auf eine rasche Gesuchsbehandlung. X._ und seine Ehefrau unterzeichneten am 15. Mai 2004 eine gemeinsame Erklärung, wonach sie in einer tatsächlichen, ungetrennten, stabilen ehelichen Gemeinschaft an derselben Adresse zusammenlebten und weder Trennungs- noch Scheidungsabsichten bestünden. Gleichzeitig nahmen sie unterschriftlich zur Kenntnis, dass die erleichterte Einbürgerung nicht möglich ist, wenn vor oder während des Einbürgerungsverfahrens einer der Ehegatten die Trennung oder Scheidung beantragt hat oder keine tatsächliche eheliche Gemeinschaft mehr besteht, und dass die Verheimlichung solcher Umstände zur Nichtigerklärung der Einbürgerung führen kann. X._ wurde am 1. Juni 2004 erleichtert eingebürgert und erhielt das Bürgerrecht der Gemeinde Binningen im Kanton Basel-Landschaft. B. Am 4. Juli 2005 stellte die Ehefrau von X._ ein Eheschutzbegehren. Am 22. Juli 2005 unterrichtete sie die kantonale Einbürgerungsbehörde über das anhängig gemachte Eheschutzverfahren und schilderte die Gründe, die aus ihrer Sicht dazu geführt haben. Mit Verfügung des zuständigen Bezirksgerichts vom 14. September 2005 wurde den Ehegatten das Getrenntleben bewilligt und der Beschwerdeführer angehalten, die eheliche Wohnung bis spätestens 30. September 2005 zu verlassen. Am 23. April 2007 wurden die Eheleute rechtskräftig geschieden. Das Bundesamt für Migration (BFM) leitete in der Folge ein Verfahren betreffend Nichtigerklärung der erleichterten Einbürgerung von X._ ein. Nach entsprechender Zustimmung des Kantons Basel-Landschaft erklärte das BFM die erleichterte Einbürgerung mit Verfügung vom 29. Mai 2009 für nichtig. Eine von X._ gegen die Verfügung des BFM erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 15. März 2012 ab. C. Dagegen hat X._ am 7. Mai 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben. Die Nichtigerklärung der erleichterten Einbürgerung sei aufzuheben und es sei festzustellen, dass er weiterhin das Schweizer Bürgerrecht besitze. Eventualiter sei die Angelegenheit zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Die Vorinstanz und das BFM haben auf eine Vernehmlassung verzichtet. 