Sachverhalt: A. Die Staatsanwaltschaft I des Kantons Zürich führte gegen X._ eine Strafuntersuchung wegen Verstoss gegen das Bundesgesetz vom 6. Oktober 1995 über die technischen Handelshemmnisse (THG; SR 946.51), Körperverletzung und weiteren Delikten. Sie warf ihm vor, er habe im Juni 1999 über die von ihm beherrschte und geführte Y._AG Knieprothesen des Typs "Diamond Rota Gliding (DRG)" mit dem CE-Zeichen versehen und in Verkehr gesetzt, obwohl keine Prüfung des Produkts für die Zulassung zum Markt stattgefunden und eine gültige Zertifizierung nie vorgelegen habe. Zudem sei er sowohl vorgängig als auch im Zeitpunkt der Inverkehrsetzung auf die fehlende Zertifizierung und die unberechtigte Verwendung des CE-Zeichens hingewiesen worden. In mehreren Fällen, in denen die Prothesen bei Patienten eingesetzt worden seien, seien in der Folge verschiedene Komplikationen (z.B. Unverträglichkeit und mangelnde Stabilität) aufgetreten, was von operierenden Ärzten der Heilmittelkontrollstelle des Bundesamts für Gesundheit (BAG) gemeldet worden sei. Dort sei festgestellt worden, dass das CE-Zeichen nicht auf den DRG-Knieprothesen hätte angebracht werden dürfen, weil das Kompatibilitätsbewertungsverfahren nie durchgeführt worden sei. Wegen des Eintritts der Verjährung - und nachdem die haftpflichtrechtlichen Ansprüche von Geschädigten bereinigt worden waren und die Geschädigten deshalb ihr Desinteresse an der Weiterführung der Strafuntersuchung erklärt hatten - stellte die Staatsanwaltschaft die Untersuchung mit Verfügung vom 28. September 2009 ein. Die Kosten der Untersuchung im Betrag von Fr. 49'307.-- auferlegte sie X._. In der Folge gelangte X._ an den Einzelrichter in Strafsachen des Bezirks Uster. Er verlangte, die Kosten der Untersuchung seien auf die Staatskasse zu nehmen und ihm selbst seien eine Umtriebsentschädigung und eine Genugtuung auszurichten. Mit Verfügung vom 21. März 2011 wies der Einzelrichter das Begehren ab. Eine gegen diese Verfügung gerichtete Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 3. Oktober 2011 ebenfalls ab. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 16. November 2011 beantragt X._ im Wesentlichen, die Kosten der eingestellten Strafuntersuchung seien auf die Staatskasse zu nehmen und es seien ihm eine Umtriebsentschädigung sowie eine Genugtuung auszurichten. Eventualiter seien immerhin die ab dem 16. Juni 2003 entstandenen Kosten auf die Staatskasse zu nehmen und ihm für die Zeit ab diesem Datum eine angemessene Umtriebsentschädigung und Genugtuung auszurichten. Unter dem Titel "Verfahrensantrag" beantragt X._ zudem, der Beschluss des Obergerichts sei aufzuheben und die Sache sei an die Vorinstanz zurückzuweisen. Das Obergericht hat auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werde. In seiner Stellungnahme dazu hält der Beschwerdeführer vollumfänglich an seiner Beschwerde fest. 