Faits : Faits : A. Par jugement du 22 décembre 2005, le Tribunal correctionnel de l'arrondissement de La Côte a notamment condamné E._, pour agression, omission de prêter secours, lésions corporelles simples et contravention à la LStup, à sept mois d'emprisonnement avec sursis pendant deux ans. Cette condamnation repose, en bref, sur les faits suivants. A.a Le 22 février 2004, dans les toilettes d'une discothèque de Gland, une altercation verbale a éclaté entre A._ et B._. Plus tard, sur la piste de danse, le premier a assené un coup de poing au visage du second, qui a répliqué. Les protagonistes ont été séparés par les employés de l'établissement et refoulés. A l'extérieur, devant une assistance acquise à leur cause, A._ et C._ ont roué de coups de pied et de poing B._, pendant qu'un dénommé D._ le maintenait. A un moment donné, B._ a réussi à s'enfuir et à se réfugier dans un bois, poursuivi par A._, C._ et d'autres personnes, dont E._ qui n'était pas concerné par les événements. Blessée et cachée dans le bois, la victime a été débusquée par E._, qui s'était préalablement muni d'un bâton et qui a ameuté les autres poursuivants de sa découverte. B._ a encore pu courir et se rapprocher de la route, avant de tomber à terre suite à un croche-pied. Il a alors été frappé, sur tout le corps, par A._ et C._. Gisant sans connaissance, il a finalement été abandonné par ses assaillants à l'arrivée d'une automobiliste. B._ a souffert de nombreuses contusions, d'un traumatisme crânien cérébral et d'une entorse cervicale. A ce jour, il n'a toutefois plus de séquelles. Il a chiffré ses prétentions à 4'500 francs, correspondant à un mois et demi d'incapacité de travail. Il a retiré sa plainte, après que les agresseurs lui aient versé, le jour de l'audience, 3'100 francs qu'ils ont réussi à rassembler durant la pause de midi. A.b Le 21 mars 2004, vers 5 h. 30, à la gare de Nyon, E._ a assené des coups de pied et de poing à F._, qui dormait sur un banc. Il est ensuite allé chercher un ami, G._ avant de retourner voir F._. Celui-ci a agrippé G._ qui l'a repoussé. Une fois au sol, E._ lui a donné des coups de pied au visage. La victime a souffert de contusions multiples. A.c Entre la fin de l'année 2003 et le 16 septembre 2004, E._ a consommé cinq à six joints d'herbe par semaine. A.c Entre la fin de l'année 2003 et le 16 septembre 2004, E._ a consommé cinq à six joints d'herbe par semaine. B. Par arrêt du 12 juin 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a réformé le jugement de première instance, en ce sens qu'elle a condamné E._ à la peine de dix-huit mois d'emprisonnement. B. Par arrêt du 12 juin 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a réformé le jugement de première instance, en ce sens qu'elle a condamné E._ à la peine de dix-huit mois d'emprisonnement. C. Ce dernier dépose un pourvoi en nullité pour violation des art. 128, 63 et 41 CP. Il conclut à l'annulation de l'arrêt cantonal. Il sollicite l'assistance judiciaire et l'effet suspensif. 