Sachverhalt: A. X._ ist seit dem 12. November 2010 in Untersuchungs- respektive Sicherheitshaft. Mit Urteil vom 17. Februar 2011 erklärte das Strafgericht des Kantons Basel-Stadt X._ der Drohung gemäss Art. 180 Abs. 1 StGB für schuldig und verurteilte ihn zu einer Freiheitsstrafe von 12 Monaten, unter Einrechnung der seit dem 12. November 2010 erstandenen Untersuchungshaft. Zugleich erklärte es die gegen X._ am 15. Januar 2010 vom Appellationsgericht Basel-Stadt wegen Vergewaltigung, Gefährdung des Lebens, Nötigung, versuchter Nötigung und mehrfachen Konsums von Betäubungsmitteln im Umfang von 14 Monaten von insgesamt 27 Monaten bedingt ausgesprochene Freiheitsstrafe für vollziehbar. Ferner erkannte es, die über X._ angeordnete Sicherheitshaft werde beibehalten. B. Gegen dieses Urteil erhob X._ mit Eingabe vom 21. April 2011 Berufung ans Appellationsgericht Basel-Stadt und reichte zugleich ein Haftentlassungsgesuch ein. Mit Entscheid vom 29. April 2011 wies die Statthalterin des Appellationsgerichts das Haftentlassungsgesuch ab. C. Mit Beschwerde in Strafsachen vom 13. Mai 2011 beantragt X._, der Entscheid der Statthalterin des Appellationsgerichts sei aufzuheben und diese sei anzuweisen, ihn aus der Sicherheitshaft zu entlassen. Des Weiteren sei ihm die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Die Staatsanwaltschaft Basel-Stadt und die Statthalterin des Appellationsgerichts beantragen die Beschwerdeabweisung. Der Beschwerdeführer verzichtet auf eine abschliessende Stellungnahme. 