Sachverhalt: A. Das Strafgericht Basel-Stadt verurteilte X._ am 5. Mai 2009 wegen einfacher Körperverletzung (Art. 123 Ziff. 1 und 2 Abs. 2 StGB) zu einer bedingten Freiheitsstrafe von zwölf Monaten und zur Bezahlung von Fr. 800.-- Genugtuung an A._. Dessen Schadenersatzforderung hiess es dem Grundsatz nach gut und verwies ihn bezüglich der Höhe des Anspruchs auf den Zivilweg. Auf Appellation von X._ hin bestätigte das Appellationsgericht des Kantons Basel-Stadt am 19. November 2010 das erstinstanzliche Urteil. X._ wird vorgeworfen, am 21. Januar 2008 mit "nicht unerheblicher, abknickender Gewalt" auf seinen damals einjährigen Sohn A._ eingewirkt zu haben, wodurch dieser am rechten Unterarm einen Bruch der Elle und der Speiche erlitten habe, was X._ zumindest in Kauf genommen habe. B. X._ führt Beschwerde in Strafsachen mit den Anträgen, das Urteil des Appellationsgerichts vom 19. November 2010 aufzuheben und das Verfahren zur Neubeurteilung an die Vorinstanz zurückzuweisen. Eventualiter sei er von Schuld und Strafe freizusprechen. Für den Fall des Freispruchs sei das Honorar seines Rechtsvertreters für das erst- und zweitinstanzliche Verfahren neu festzusetzen, ev. sei das Verfahren hierzu an die Vorinstanz zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege und Verbeiständung. C. Das Appellationsgericht und die Staatsanwaltschaft des Kantons Basel-Stadt beantragen die Abweisung der Beschwerde. Der Vertreter von A._ liess sich nicht vernehmen. 