Faits: A. Par jugement du 16 décembre 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour agression et contravention à la loi fédérale sur les stupéfiants (LStup) à une peine privative de liberté de 8 mois, sous déduction de 7 jours de détention préventive, et à une amende de 500 francs, la peine privative de liberté de substitution en cas de non paiement fautif de l'amende étant de 5 jours, peine complémentaire à celle prononcée le 2 février 2010. Ce jugement se fonde notamment sur les faits suivants: - L'un des quatre coaccusés de X._ avait appris que Y._ cultivait des plants de marijuana à son domicile et décidé de les lui dérober. Il avait évoqué notamment avec X._ la possibilité de se rendre chez Y._ à cette fin. - Le 17 novembre 2008, les cinq coaccusés se sont retrouvés au pied de l'immeuble de Y._. L'un d'eux est monté et a sonné à la porte de ce dernier. Après que Y._ eut essayé de fermer la porte, jugeant le comportement du coaccusé suspect, ce dernier a bloqué ladite porte et une bagarre entre les deux protagonistes s'en est suivie. Deux coaccusés et X._ sont montés pour prêter main forte à celui se trouvant déjà avec Y._. Plusieurs coups de pied et de poing ont été assénés à ce dernier sur toute la zone du corps ainsi qu'au niveau de la tête. X._ l'a pour sa part frappé à plusieurs reprises, dont une fois au niveau de l'arcade sourcilière avec la crosse d'un pistolet à bille. - Les coups reçus par Y._ lui ont causé des hématomes et des griffures sur le visage, une plaie du cuir chevelu qui a nécessité quatorze points de suture et une fracture de l'auriculaire droit. B. Par arrêt du 21 mars 2011, la Cour de cassation du canton de Vaud a rejeté le recours de X._. C. Ce dernier forme un recours en matière pénale au Tribunal fédéral. Il conclut à la réforme de l'arrêt en ce sens qu'il est libéré du chef d'accusation d'agression, subsidiairement que sa peine privative de liberté de huit mois est assortie du sursis. Plus subsidiairement encore, il requiert l'annulation de l'arrêt et le renvoi de la cause à l'autorité cantonale pour nouveau jugement. Il sollicite également l'octroi de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures. 