Sachverhalt: A. X._ wird vorgeworfen, zusammen mit A._ und B._ zwischen April und Oktober 1999 bei Finanzdienstleistern in London und New York mit gefälschten Bankauszügen, gefälschten sogenannten Certificates of Deposit und weiteren gefälschten Dokumenten Vermögenswerte von insgesamt USD 17 Mio. vorgetäuscht zu haben. Ziel war es, durch diese Vermögensnachweise in ein hochrentables Tradingprogramm einzusteigen und Vorschusszahlungen von USD 2 Mio. zu erhalten. B. Das Bezirksgericht Appenzell sprach X._ am 9. Februar 2010 der mehrfachen Urkundenfälschung und des versuchten Betrugs schuldig. Es verurteilte ihn zu einer Freiheitsstrafe von 24 Monaten unter Anrechnung von neun Tagen Untersuchungshaft. Den Vollzug der Strafe schob es auf und setzte die Probezeit auf drei Jahre fest. Die von X._ gegen dieses Urteil erhobene Berufung hiess das Kantonsgericht Appenzell Innerrhoden am 15. Dezember 2010 teilweise gut. Es verurteilte ihn wegen mehrfacher Urkundenfälschung. Vom Vorwurf des versuchten Betrugs sprach es ihn frei. Es verurteilte ihn zu einer Geldstrafe von 45 Tagessätzen zu Fr. 280.-- unter Anrechnung von neun Tagen Untersuchungshaft. Den Vollzug der Geldstrafe schob es auf und setzte die Probezeit auf zwei Jahre fest. C. X._ erhebt Beschwerde in Strafsachen und subsidiäre Verfassungsbeschwerde beim Bundesgericht. Er beantragt, das Urteil des Kantonsgerichts Appenzell Innerrhoden vom 15. Dezember 2010 sei aufzuheben, soweit er schuldig gesprochen worden sei. Die Kosten aller Instanzen seien dem Staat aufzuerlegen. Ihm sei für das vorinstanzliche Verfahren zudem eine Entschädigung für die Kosten der privaten Verteidigung von Fr. 28'961.50 statt Fr. 14'480.60 und für die erstandene Untersuchungshaft eine angemessene Entschädigung sowie Genugtuung zuzusprechen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. D. Das Kantonsgericht Appenzell Innerrhoden beantragt die Abweisung der Beschwerde. Die Staatsanwaltschaft des Kantons Appenzell Innerrhoden beantragt, die Beschwerde sei unter Kosten- und Entschädigungsfolgen zulasten des Beschwerdeführers abzuweisen, soweit darauf einzutreten ist. 