Sachverhalt: A. Nach dem hier relevanten Anklagepunkt I.5 gingen die Gebrüder A.X._ und B.X._ am 29. Mai 2010 gegen 00.50 Uhr alkoholisiert in Richtung Heuwaage in Basel und belästigten wahllos Passanten. A.X._ erblickte den ihm unbekannten 21-jährigen Y._ mit einem Kollegen, beschimpfte ihn als "Hurensohn", verpasste ihm unvermittelt einen Faustschlag, so dass er sogleich zu Boden ging, und versetzte dem am Boden Liegenden äusserst brutale Faust- und Ellenbogenschläge ins Gesicht. Als der Kollege von Y._ die Streitenden trennen wollte, entschied sich B.X._, seinen Bruder zu unterstützen, und schlug eine leere Whisky-Flasche über das rechte Bein Y._s, wobei die Flasche nicht zerbarst und unbeschädigt zu Boden fiel. Daraufhin packte B.X._ ein Fahrrad und warf es auf die Streitenden, worauf diese voneinander abliessen. Als Y._ aufzustehen versuchte, ergriff B.X._ die Flasche erneut und schmetterte sie ihm ins Gesicht, so dass sie zerbrach. Unbeeindruckt vom hilflosen Zustand Y._s trat A.X._ mindestens zweimal mit dem rechten Fuss Y._ kraftvoll gegen Kopf und Körper. Angehörige der Securitas nahe gelegener Betriebe rissen A.X._ von Y._ weg. Dieser hatte zahlreiche Verletzungen erlitten, insbesondere eine als potenziell lebensgefährlich einzustufende tiefe Schnittverletzung im linken Jochbeinbereich. B. Das Strafdreiergericht des Kantons Basel-Stadt verurteilte am 22. Dezember 2010 A.X._ wegen mehrfacher versuchter schwerer Körperverletzung, mehrfacher einfacher Körperverletzung, Raufhandels, Gewalt und Drohung gegen Behörden und Beamte sowie Diensterschwerung zu 3 1⁄4 Jahren Freiheitsstrafe (unter Anrechnung von Polizeigewahrsam, Untersuchungshaft und vorläufigem Massnahmevollzug) sowie zu einer Busse von Fr. 200.--. Es wies ihn in eine Einrichtung für junge Erwachsene ein und schob den Vollzug der Freiheitsstrafe auf (Art. 61 Abs. 1 i.V.m. Art. 57 Abs. 2 StGB). Im Rahmen des Anklagepunktes I.5 wurde A.X._ mit seinem Bruder B.X._ zur solidarischen Zahlung einer Genugtuung von Fr. 7'500.-- an Y._ verpflichtet. Das Strafdreiergericht verurteilte B.X._ zu einer Gesamtfreiheitsstrafe von 4 1⁄2 Jahren, schob den Vollzug auf und ordnete eine stationäre psychiatrische Behandlung an (Art. 59 Abs. 1 i.V.m. Art. 57 Abs. 2 StGB). Das Urteil blieb unangefochten und wurde rechtskräftig. C. Das Appellationsgericht des Kantons Basel-Stadt bestätigte am 5. Juni 2012 auf Appellation von A.X._ das Urteil des Strafdreiergerichts im Schuldpunkt. In einem Anklagepunkt (I.1) stellte es das Verfahren mangels Strafantrags ein. Es verurteilte ihn zu 3 Jahren Freiheitsstrafe sowie Fr. 200.-- Busse und bestätigte das Urteil des Strafdreiergerichts betreffend Massnahme sowie Genugtuungsleistung an Y._. D. A.X._ erhebt Beschwerde in Strafsachen mit den Anträgen, das appellationsgerichtliche Urteil aufzuheben, ihn vom Vorwurf der durch den Flaschenschlag seines Bruders B.X._ angeblich in Mittäterschaft begangenen [versuchten] schweren Körperverletzung zum Nachteil des Geschädigten Y._ freizusprechen, ihn zu einer Freiheitsstrafe von insgesamt 2 1⁄2 Jahren sowie zur solidarischen Bezahlung einer Genugtuung von Fr. 2'500.-- an Y._ zu verurteilen und dessen weitere Forderung abzuweisen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Es sei ihm die unentgeltliche Rechtspflege zu gewähren. In der Vernehmlassung beantragen Appellationsgericht und Staatsanwaltschaft die Abweisung der Beschwerde. 