Sachverhalt: A. A._ erstellte im Sommer 2000 für X._ auf dessen Liegenschaft in B._ (AR) eine Hangentwässerung. X._ erstattete am 24. Juli 2001 Strafklage gegen A._ wegen Betrugs. Er machte geltend, A._ habe Leistungen verrechnet, die er nicht erbracht habe. Das Strafverfahren wurde bis zum Abschluss des parallel laufenden Zivilprozesses zwischen den Beiden vorläufig eingestellt. B. Das Verhöramt von Appenzell A.Rh. stellte das Strafverfahren mit Verfügung vom 29. Mai 2006 ein. Dagegen rekurrierte X._. Die Staatsanwaltschaft Appenzell A.Rh. schützte mit Entscheid vom 12. Juli 2006 den Rekurs und wies das Verhöramt an, das Strafverfahren wieder anzunehmen, bei X._ einen Kostenvorschuss einzuverlangen und nach dessen Eingang die notwendigen Untersuchungshandlungen durchzuführen. In der Folge verurteilte das Verhöramt A._ mit Strafverfügung vom 23. Februar 2007 wegen versuchten Betrugs. A._ und X._ erhoben beide Einsprache. C. Der Einzelrichter des Kantonsgerichts sprach A._ mit Urteil vom 9. Juni 2009 von der Anklage des versuchten Betrugs frei und legte die Verfahrenskosten dem Staat auf. X._ und die Staatsanwaltschaft erhoben Appellation. Das Obergericht von Appenzell A.Rh. bestätigte mit Urteil vom 20. September 2010 den Freispruch. In Gutheissung der Appellation der Staatsanwaltschaft legte es X._ die Untersuchungskosten sowie die erst- und zweitinstanzlichen Gerichtskosten auf. Es verpflichtete ihn, A._ für dessen Anwaltskosten zu entschädigen. D. Mit Beschwerde in Strafsachen beantragt X._, das Urteil des Obergerichts sei im Kosten- und Entschädigungspunkt aufzuheben. Die Verfahrenskosten und die Entschädigung an A._ seien vom Staat zu tragen. Die von ihm geleisteten Kostenvorschüsse seien ihm zurückzuerstatten. E. Das Obergericht verzichtet auf Vernehmlassung, während die Staatsanwaltschaft die Abweisung der Beschwerde beantragt. 