Sachverhalt: A. Die X._ AG produziert glasfaserverstärkte Kunststofferzeugnisse, insbesondere Plattenelemente für Dächer und Wände. Zu diesem Zweck verwendet sie auch Lösungsmittel mit flüchtigen organischen Verbindungen ("volatile organic compounds"; VOC). Diese VOC unterliegen einer Lenkungsabgabe des Bundes. Seit 2001 verfügt die X._ AG über eine Bewilligung der Oberzolldirektion (OZD) zum Bezug von vorläufig abgabebefreiten VOC im Rahmen des sog. Verpflichtungsverfahrens. Dieses Verfahren auferlegt dem Bewilligungsinhaber, eine Bilanz über die Verwendung der VOC zu führen und diese Aufstellung spätestens sechs Monate nach Abschluss des Geschäftsjahres einzureichen. Die VOC-Bilanz für das Geschäftsjahr 2007 konnte von der X._ AG indes nicht rechtzeitig abgeliefert werden: Sie ging der für die Vorprüfung zuständigen Amtsstelle der Stadt A._ erst am 14. Juli 2008 zu. Gemäss eigenen Angaben der X._ AG erfolgte die Postaufgabe am 11. Juli 2008. Die bis zum 30. Juni 2008 laufende Einsendefrist wurde mithin um 11 bzw. um 14 Tage verpasst. Die X._ AG begründete die Verspätung mit dem Vorliegen einer aussergewöhnlichen Personalfluktuation. B. Aufgrund der verspäteten Einreichung der VOC-Bilanz verfügte die OZD am 16. Juli 2008 die hierfür vorgesehene Sanktion, d.h. die Sistierung der Bewilligung zum Bezug von vorläufig abgabebefreiten VOC für eine Dauer von drei Jahren. Dies bedeutet, dass die X._ AG die VOC-Abgabe im Moment des Imports oder der Herstellung dieser Stoffe bezahlen muss und erst zu einem späteren Zeitpunkt gegebenenfalls eine Rückerstattung erhält. Hiergegen beschwerte sich die X._ AG mit Erfolg beim Bundesverwaltungsgericht: In seinem Urteil vom 19. Juli 2010 kam dieses zum Schluss, die von der OZD angeordnete Massnahme sei unverhältnismässig und es hob die Verfügung vom 16. Juli 2008 auf. C. Mit Eingabe vom 2. September 2010 führt die OZD Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragt die Aufhebung des vorinstanzlichen Urteils und die Bestätigung ihres Entscheids vom 22. März 2006 (recte: 16. Juli 2008). Während das Bundesverwaltungsgericht auf eine Vernehmlassung verzichtet, schliesst die X._ AG auf Abweisung der Beschwerde. 