Faits: A. Par jugement du 4 février 2009, la 2ème Chambre pénale de la Cour suprême du canton de Berne, statuant sur appel d'un jugement rendu le 7 juillet 2008 par le Président 10 de l'Arrondissement judiciaire II Bienne-Nidau, a condamné X._, pour infraction à l'art. 23 al. 1 4ème phrase LSEE et infraction à l'art. 115 al. 1 let. b LEtr, à une peine privative de liberté de 4 mois et 15 jours. B. Ce jugement retient, en résumé, ce qui suit. B.a X._, qui se dit ressortissant angolais, a déposé une requête d'asile en Suisse, laquelle a été rejetée en dernière instance le 13 juin 2005. Par décision du 15 juin 2005, le Tribunal administratif fédéral lui a imparti un délai jusqu'au 9 août 2005 pour quitter le pays. Il ne s'est toutefois pas plié à cette injonction. Il a ainsi séjourné en Suisse, sans autorisation valable, du 10 août 2005 au 7 juillet 2008. Au cours de cette période, il a été brièvement mis en détention, du 14 au 23 avril 2008, en vue de son refoulement. B.b Au terme d'une appréciation des preuves, il a été retenu que, bien que dûment informé du rejet de sa requête d'asile et de son devoir de quitter la Suisse le 9 août 2005 au plus tard, le prévenu avait délibérément décidé de ne pas se conformer à ces décisions. Depuis le 10 août 2005, il avait, avec conscience et volonté, continué à séjourner dans le pays sans être au bénéfice d'un titre de séjour. Il s'était mis de manière délibérée dans l'impossibilité de le quitter, en omettant toute démarche sérieuse en vue de l'obtention des papiers nécessaires. Il ne cachait d'ailleurs pas qu'il n'était pas disposé à quitter la Suisse. B.c Le prévenu a été reconnu coupable d'infraction à l'art. 23 al. 1 4ème phrase LSEE du fait d'avoir séjourné illégalement en Suisse du 10 août 2005 au 31 décembre 2007. A raison du même comportement, il a été reconnu coupable d'infraction à l'art. 115 al. 1 let. b LEtr pour la période allant du 1er janvier 2008, date à partir de laquelle la LSEE a été remplacée par la LEtr, au 13 avril 2008 et celle allant du 24 avril 2008 au 7 juillet 2008. B.d Estimant que les conditions de l'octroi d'un sursis n'étaient pas réalisées et que la possibilité de prononcer une peine pécuniaire ou un travail d'intérêt général devait être écartée, l'autorité cantonale a jugé que seule une peine privative de liberté de courte durée, au sens de l'art. 41 CP, entrait en considération et que celle, de 4 mois et 15 jours, prononcée en première instance était adéquate et devait donc être maintenue. C. X._ forme un recours en matière pénale au Tribunal fédéral. Contestant le bien-fondé de sa condamnation et se plaignant du refus du sursis, il conclut à l'annulation du jugement attaqué et à son acquittement, subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite l'assistance judiciaire. Des déterminations n'ont pas été requises. 