Faits : Faits : A. Le lundi 13 septembre 2004, F._ travaillait sur un chantier situé aux abords de l'autoroute A9 à proximité du tunnel de Glion à la tête d'une équipe de six ouvriers, lui compris. L'équipe a été scindée en deux. L'un des groupes était chargé de creuser une fouille, de l'étayer, d'en régler le fond, avant de le bétonner et de poser un tuyau collecteur relié à une chambre. Ce groupe était formé de A.A._, maçon semi-formé qui en assumait la responsabilité, de E._, machiniste qui pilotait une pelle araignée, et d'un manoeuvre. E._ avait pour tâches de commencer la fouille, de percer la chambre et de creuser jusqu'à une longueur suffisante pour permettre la mise en place de l'étayage. Celui-ci, qui se trouvait à proximité, était constitué de panneaux lourds, déjà étançonnés, qui devaient être posés par la pelleteuse après avoir été amenés par un autre engin. Les travaux de creuse se sont déroulés normalement durant la matinée et le manoeuvre a rapidement quitté les lieux. Pendant que la fouille avançait, A.A._ se trouvait à l'intérieur de la chambre et élargissait le trou au moyen d'un marteau-piqueur. F._ est venu à plusieurs reprises sur le chantier. Il est encore venu une fois constater l'état d'avancement du chantier à la fin de la pause de midi. E._ a repris son travail de creusement vers 13 h. 15. Il ne savait pas où se trouvait A.A._. Après avoir donné deux ou trois coups de pelleteuse, il a constaté que celui-ci était descendu dans la fouille et, muni d'une pelle, se trouvait entre la chambre et le godet de son engin. E._ a alors encore donné un coup de pelleteuse et a fait pivoter sa machine pour déverser la terre prélevée. Lorsqu'il est revenu dans la position permettant de creuser, il a constaté que A.A._ était toujours dans la fouille. A ce moment, c'est-à-dire une dizaine de minutes après la reprise du travail, le flanc amont de la fouille s'est effondré, ensevelissant complètement A.A._ et sans laisser à E._ le temps d'intervenir. E._ a alerté les secours et tenté de dégager A.A._. Des collègues qui travaillaient à une centaine de mètres sont arrivés sur place et l'ont aidé. Une fois dégagée, la victime a été héliportée au CHUV, où elle est décédée le surlendemain. E._ a repris son travail de creusement vers 13 h. 15. Il ne savait pas où se trouvait A.A._. Après avoir donné deux ou trois coups de pelleteuse, il a constaté que celui-ci était descendu dans la fouille et, muni d'une pelle, se trouvait entre la chambre et le godet de son engin. E._ a alors encore donné un coup de pelleteuse et a fait pivoter sa machine pour déverser la terre prélevée. Lorsqu'il est revenu dans la position permettant de creuser, il a constaté que A.A._ était toujours dans la fouille. A ce moment, c'est-à-dire une dizaine de minutes après la reprise du travail, le flanc amont de la fouille s'est effondré, ensevelissant complètement A.A._ et sans laisser à E._ le temps d'intervenir. E._ a alerté les secours et tenté de dégager A.A._. Des collègues qui travaillaient à une centaine de mètres sont arrivés sur place et l'ont aidé. Une fois dégagée, la victime a été héliportée au CHUV, où elle est décédée le surlendemain. B. Par jugement du 27 avril 2006, le Tribunal correctionnel de l'Est vaudois a libéré E._ et F._ de l'accusation d'homicide par négligence, donnant par ailleurs acte à B.A._, épouse divorcée de la victime, de ses réserves civiles pour ses enfants mineurs, C.A._ et D.A._. B. Par jugement du 27 avril 2006, le Tribunal correctionnel de l'Est vaudois a libéré E._ et F._ de l'accusation d'homicide par négligence, donnant par ailleurs acte à B.A._, épouse divorcée de la victime, de ses réserves civiles pour ses enfants mineurs, C.A._ et D.A._. C. Le 17 juillet 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par B.A._ et ses enfants contre ce jugement, qu'elle a confirmé. Elle a estimé que la victime connaissait les règles de sécurité, de sorte que F._ n'était pas tenu de les répéter le matin en question, que par ailleurs la fouille était conforme aux prescriptions et qu'il n'y avait pas lieu de l'étayer tant que personne n'était censé y descendre. S'agissant de E._, la cour cantonale a admis qu'il n'avait pas à cesser son activité sur le champ, mais qu'il pouvait terminer la manoeuvre en cours. Elle a estimé que la victime connaissait les règles de sécurité, de sorte que F._ n'était pas tenu de les répéter le matin en question, que par ailleurs la fouille était conforme aux prescriptions et qu'il n'y avait pas lieu de l'étayer tant que personne n'était censé y descendre. S'agissant de E._, la cour cantonale a admis qu'il n'avait pas à cesser son activité sur le champ, mais qu'il pouvait terminer la manoeuvre en cours. D. C.A._ et D.A._ forment un pourvoi en nullité contre cet arrêt. Invoquant une violation de l'art. 117 CP, ils soutiennent que c'est à tort que E._ a été libéré de l'accusation d'homicide par négligence. Selon eux, il a violé son devoir de prudence d'une part en ne vérifiant pas que personne n'était au fond de la fouille et d'autre part en n'arrêtant pas immédiatement son travail lorsqu'il a vu que la victime s'y trouvait. Ils concluent, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Ils sollicitent en outre l'assistance judiciaire. Ils sollicitent en outre l'assistance judiciaire. E. L'autorité cantonale n'a pas formulé d'observations et s'est référée aux considérants de l'arrêt attaqué. 