Sachverhalt: A. Der als Grenzgänger in Basel arbeitende X._ fuhr am 22. Februar 2008 um ca. 06.15 Uhr von seinem elsässischen Wohnort Hagenthal-le-Bas Richtung Basel. Auf der Strecke zwischen Hagenthal und Hégenheim, die mit einer Höchstgeschwindigkeit von 90 km/h signalisiert ist, reduzierte er seine Fahrgeschwindigkeit stark, weil er aufgrund der Wetterverhältnisse Glatteis befürchtete. Der nachfolgende Fahrzeuglenker A._ überholte ihn, worauf X._ den Scheinwerfer, eventuell zusätzlich die Hupe, betätigte und sehr nahe auf das überholende Fahrzeug aufschloss. Als dieses anhielt, überholte ihn X._. A._ folgte ihm daraufhin lichthupend. In Hégenheim fuhr X._ zunächst sehr langsam im Slalom, später zügiger Richtung Grenzübergang Hegenheimerstrasse. A._ folgte X._ weiterhin und wollte ihn zur Rede stellen. Dieser versuchte, sich im Bereich der Kreuzung Bündner-/Sierenzerstrasse mit seinem Fahrzeug zu verstecken. Dies gelang ihm nicht. A._ hielt in einer Entfernung von rund 20 Metern zum Wagen von X._ an. Beide stiegen aus ihren Wagen aus. Nach einem kurzen Handgemenge stiess X._ A._ einen Dolch in den Lendenbereich. Dieser wehrte sich weiter und schlug ihm mit der Faust gegen die rechte obere Kopfhälfte. X._ fügte A._ in der Folge eine Schnittwunde an der linken Seite des Kopfes zu und ergriff danach die Flucht. B. Das Strafgericht Basel-Stadt verurteilte X._ am 16. September 2009 wegen versuchter vorsätzlicher Tötung und Widerhandlung gegen das Waffengesetz zu einer Freiheitsstrafe von 3 1⁄2 Jahren, zu Schadenersatz von Fr. 3'189.-- sowie zu Genugtuungszahlungen von insgesamt Fr. 13'500.--, jeweils zuzüglich Zins. Die von X._ erhobene Appellation hiess das Appellationsgericht Basel-Stadt am 20. Januar 2012 teilweise gut. Es verurteilte ihn wegen versuchter vorsätzlicher Tötung und Widerhandlung gegen das Waffengesetz zu einer Freiheitsstrafe von 3 Jahren, davon 24 Monate bedingt aufgeschoben, bei einer Probezeit von zwei Jahren. Im Übrigen bestätigte es das erstinstanzliche Urteil. C. X._ erhebt Beschwerde in Strafsachen. Er beantragt, das Urteil des Appellationsgerichts Basel-Stadt vom 20. Januar 2012 sei aufzuheben und im Sinne der bundesgerichtlichen Erwägungen zur neuen Entscheidung an die Vorinstanz zurückzuweisen. X._ verlangt ein Replikrecht zur Stellungnahme des Beschwerdegegners. Ausserdem sei der Beschwerde aufschiebende Wirkung im Zivilpunkt zu gewähren. 