Faits: A. Par jugement du 1er avril 2011, le Tribunal de police de l'arrondissement de La Côte a reconnu X._ coupable d'homicide par négligence. Il lui a infligé une peine pécuniaire de dix jours-amende, le montant du jour-amende étant fixé à 150 fr., et a suspendu l'exécution de cette peine pendant une durée de deux ans. Sur le plan civil, il a condamné l'intéressé à payer à Y._, la mère de la victime, une somme de 12'048 fr. 90 à titre de dommages-intérêts, une somme de 20'000 fr. à titre de réparation du tort moral et un montant de 5'000 fr. à titre de dépens pénaux, ces valeurs étant échues. B. Statuant le 5 septembre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et confirmé le jugement de première instance. En résumé, elle a retenu les faits suivants : B.a Entre 2008 et 2009, A._ SA a fait construire à B._ dans la zone industrielle de C._ un immeuble commercial dont la conception requerrait la pose de panneaux de verre de 5,47 m de hauteur, de 2,62 m de largeur et d'un poids de 1'100 kg, sur deux façades entières présentant une inclinaison de 23 degrés par rapport à la verticale. Ces panneaux sont posés par des entreprises spécialisées au moyen d'un système de préhension de charge par le vide et d'un palonnier à contre-poids supportant ce système, le tout élevé par une grue. Le système de préhension de charge par le vide proprement dit est essentiellement composé de deux groupes de ventouses permettant la préhension et de deux agrégats "redondants" reliés par des tuyaux aux deux groupes de ventouses et à deux vannes de décharge, le tout fixé sur un châssis métallique. D._, entreprise en raison individuelle dont X._ est le patron, a été mandatée pour poser ces panneaux de verre. Ne disposant pas du matériel nécessaire pour ce chantier, elle a loué une grue et un palonnier à contre-poids à l'entreprise E._ AG et à l'entreprise F._ un système de porte-ventouses, qui était livré avec un mode d'emploi. Celui-ci contenait la recommandation, selon laquelle la machine ne devait pas être utilisée sous la pluie, la neige et à des températures de moins de 5° C ou de plus de 50°C. D._ a loué les services de G._, employé de H._, entreprise également spécialisée dans la pose de vitrages lourds. X._ et G._ se connaissaient puisqu'ils avaient travaillé ensemble pour le compte de la société I._. G._ était spécialisé dans le maniement des systèmes de préhension de charge de type porte-ventouses, tel que celui utilisé sur le chantier de B._. B.b Les 7 et 8 janvier 2009, X._ ainsi que ses employés, à savoir J._, grutier, K._ et L._, vitriers, et G._, machiniste, ont travaillé sur le chantier. Ils ont posé quinze vitrages. G._ a assuré à chaque fois le commandement et la manipulation du système de préhension de charge de type porte-ventouses au moyen de la vanne de "dépression" et de "libération de charge" et le maniement du palonnier à contre-poids mobile au moyen d'une télécommande. Le 9 janvier 2009 à 7h45, la même équipe a repris le travail. X._ et G._ ont appliqué les ventouses contre un premier panneau de verre. X._ s'est rendu à l'arrière du palonnier à contre-poids, pendant que J._ s'occupait de la grue et que K._ et L._ se tenaient chacun d'un côté du vitrage pour le stabiliser. X._, tout comme ses autres employés, a entendu G._ dire en suisse allemand "le levier est faux", puis, après qu'il a dit comme les autres à l'attention de G._ "que se passe-t-il?", celui-ci a répondu "c'est en ordre!" et la man?uvre a repris. Le grutier a dégagé le panneau de verre de son support et a ensuite levé la charge pendant que K._ et L._ faisaient pivoter le panneau de verre pour le mettre en position verticale. G._ est alors monté sur une échelle appuyée contre le châssis du système pour contrôler que le panneau de verre était bien bloqué en position verticale. Il est ensuite redescendu et a repassé devant le panneau de verre. A ce moment-là, X._, J._, K._ et L._ ont vu le panneau de verre glisser lentement, toucher le sol sans se briser, rester un instant en équilibre, puis tomber sur G._, sans que l'avertisseur acoustique prévu en cas de décompression au-delà de la valeur limite et non voulue dans les ventouses ne se déclenche. X._ a crié à G._, peu avant que le panneau de verre ne touche le sol "attention la vitre tombe!", mais ce dernier est resté immobile et a été tué sur le coup. Il ressort du rapport établi par un inspecteur de la SUVA, à la rubrique "situation avant l'accident", que, le 9 janvier 2009, à B._, la valeur de la température extérieure à 7h était estimée par Météo Suisse entre - 3° et - 4° C, les températures étant les mêmes au niveau du sol, car il n'y avait pas de radiation en raison de la présence du stratus. Les deux inspecteurs de la SUVA intervenus sur le chantier peu après l'accident ont notamment précisé que les panneaux de verre étaient recouverts d'une pellicule de givre. C. Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à son acquittement, à la libération de sa condamnation aux conclusions civiles et à l'octroi d'une indemnité au sens de l'art. 429 CPP. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité précédente pour nouveau jugement. Invités à se déterminer sur le recours, l'intimée Y._ et le Ministère public vaudois concluent à son rejet. Pour sa part, la cour cantonale a renoncé à se déterminer. Informé de la prise de position de l'intimée, le recourant dépose encore des observations. L'intimée adresse spontanément au Tribunal fédéral des contre-observations. 