Faits: A. A.a La société anonyme Z._ SA élabore et vend des machines destinées à l'impression de billets de banque. Sise dans le canton de Vaud, elle comprend notamment un atelier mécanique et un bureau technique composé d'ingénieurs chargés du développement des machines. A.b Le 1er mars 1985, X._ (ci-après: l'employé) a été engagé en qualité de mécanicien spécialisé par une entité à laquelle la société précitée (l'employeuse) a succédé. L'employé n'a pas de diplôme d'ingénieur. Il portait assistance aux techniciens des fournisseurs de l'employeuse dans les travaux de montage et de démontage des machines d'impression. Il fabriquait des pièces pour prototypes, effectuait des modifications générales sur les machines et passait des commandes d'outillages et de matériel. Si l'employé n'avait pas pour mission, dans le travail courant, de réaliser des études et créations, son domaine de prédilection était l'amélioration des pièces et des composants de machines. Son rôle ne se limitait pas à celui d'un mécanicien; il participait directement à la réalisation d'inventions et initiait souvent des nouveautés de façon spontanée. Le 31 janvier 2001, une tâche supplémentaire a été formellement ajoutée à son cahier des charges, soit la participation à de nouveaux développements techniques. Dans les faits, l'employé a déployé une telle activité dès son entrée au service de l'employeuse. Au plus tard en juillet 1993, le règlement interne de l'employeuse a intégré une clause précisant que les inventions réalisées par les employés dans le cadre de leur activité restaient en tout temps la propriété de l'entreprise. A.c L'employé a été désigné comme inventeur dans sept familles de brevets européens délivrés à l'employeuse. L'un des brevets portait sur des parois de séparation placées dans l'encrier d'une machine d'impression afin d'assurer une étanchéité parfaite. Un autre brevet concernait un dispositif de mise en tension des plaques d'impression, destiné à diminuer la déformation due aux fortes pressions exercées lors de l'impression taille-douce. Ces inventions consistaient en de petits perfectionnements sur de grandes machines, qui pouvaient se révéler précieux ponctuellement. Il est admis qu'il s'agit d'inventions "de service" au sens de l'art. 332 al. 1 CO (cf. infra, consid. 3.1). L'employé les a conçues avec les moyens techniques mis à disposition par l'employeuse. Il réalisait les essais sur les machines de celle-ci. Toutes les conditions étaient réunies pour qu'il puisse exercer au mieux son activité inventive (mise à disposition de machines, collaboration d'autres employés). A.d L'employé a dessiné six croquis datés du 23 novembre 2000. Ces esquisses très rudimentaires et schématiques représentent des variantes de configuration de machines d'impression taille-douce sans essuyage ("no wipe") et recto verso. Les croquis de l'employé décrivent un système "sans essuyage" où les encres de différentes couleurs sont chacune transmises par un cylindre encreur doté d'un système d'essuyage et de récupération de l'encre. Ce procédé évite les mélanges et permet le recyclage des encres, qui sont très coûteuses; il offre en outre plus de couleurs qu'une machine conventionnelle, ce qui constitue un élément de sécurité s'agissant de billets de banque. L'employé a en outre conçu un système d'impression recto verso simultanée. Ses dessins représentent un système combinant un cylindre conventionnel de grande dureté avec un cylindre contre-pression d'un matériau plus mou. L'expert nommé dans le cadre de la procédure judiciaire (infra let. B) a examiné ces croquis. Il a conclu que les deux concepts imaginés par l'employé constituent une "contribution pratique et tout à fait intéressante, nouvelle et inventive", qui pourrait justifier la délivrance d'un brevet, sans que l'on puisse néanmoins la qualifier de "révolutionnaire". A.e Le 15 décembre 2000, l'employé a présenté ses croquis à A._, qui était alors président du conseil d'administration de l'employeuse et détenait 50 % de son capital-actions. Le prénommé a fait établir un rapport intitulé "...". Conçu avec l'aide de l'employé, ce document contenait un projet de développement allant jusqu'au dépôt d'un brevet. Le développement en question devait se faire "en dehors" de l'employeuse, ce dont l'employé avait connaissance. Il a du reste été requis de garder le secret sur son invention. Le projet ne s'est jamais réalisé. A._ et l'autre actionnaire ont décidé de vendre leurs participations dans la société employeuse, ce qui s'est produit le 30 mai 2001. L'entreprise a changé de structure. Dans un courrier du 13 janvier 2003, le conseil de l'employeuse écrivait que si vraiment l'employé avait "travaillé sur un dossier en relation avec un système concernant le 'no wiping' de l'ampleur qu'il allégu[ait]", l'employeuse était "d'accord de discuter avec lui d'une rémunération équitable comme le prévo[yai]t la loi". L'employé a réclamé plusieurs millions de francs pour ses inventions, avant de revoir ses prétentions à la baisse. Les parties ont parlementé sans parvenir à trouver un accord. L'employeuse a déposé une première demande de brevet européen le 15 janvier 2004, puis une demande internationale le 5 janvier 2005. L'employé y était désigné comme inventeur, aux côtés de trois autres personnes. Dans un rapport préliminaire, l'Office européen des brevets a jugé que certaines revendications, prises en combinaison, pouvaient être brevetables. Selon l'expert judiciaire, la demande internationale englobe les propositions déduites des dessins de l'employé; celui-ci a contribué seul à quelques revendications, tandis que plusieurs autres doivent être imputées à parts égales aux quatre personnes indiquées comme inventeurs. A.f Le 30 août 2005, le conseil de l'employé a écrit à l'employeuse pour rappeler les prétentions de son client, tout en soulignant qu'il était prêt à poursuivre les pourparlers. Il a joint à cette lettre une copie du rapport "...". Le 8 septembre 2005, l'employeuse a résilié le contrat de l'employé pour le prochain terme légal. L'employeuse indiquait avoir pris connaissance "avec stupéfaction" du rapport "...", qui prouvait irréfutablement que l'employé avait agi de façon déloyale en utilisant ses infrastructures et des informations confidentielles pour un projet de développement concurrent. L'employé s'est opposé au congé. A.g Entre 1985 et 2005, le salaire annuel de l'employé a passé de 74'200 fr. à 139'930 fr.; il a notablement augmenté au moment des premières demandes de brevet. Cette rémunération était plus élevée que celle perçue par plusieurs collaborateurs du bureau technique, qui touchaient en 2005 des montants compris entre 79'100 fr. et 102'970 fr. Toutefois, une personne faisant partie dudit bureau a touché un salaire total annuel de 157'010 fr. en 1988 et de 160'300 fr. en 1989, année de son départ à la retraite. B. B.a Le 17 mai 2006, l'employé a actionné l'employeuse devant la Cour civile du Tribunal cantonal vaudois. En substance, il entendait faire constater qu'il était seul titulaire des droits relatifs à l'invention décrite dans la demande de brevet internationale, et notamment du droit à la délivrance du brevet. Il entendait en outre faire signifier à l'employeuse l'interdiction d'utiliser l'invention visée par la demande de brevet, respectivement les deux systèmes d'impression sans essuyage et recto verso. L'employé demandait en outre le paiement de diverses sommes d'argent, dont 1,12 millions de francs à titre d'indemnité pour les sept inventions brevetées entre les années 1988 et 2000, ainsi qu'une indemnité de 61'290 fr. pour licenciement abusif. B.b La Cour civile a considéré qu'elle était compétente ratione materiae en tant que juridiction cantonale unique imposée par le législateur fédéral en matière de brevets (ancien art. 76 LBI) et en raison de la valeur litigieuse supérieure à 100'000 fr. (ancien art. 74 al. 2 de la loi vaudoise d'organisation judiciaire). Sur le fond, elle n'a admis les conclusions de l'employé qu'à concurrence de 14'694 fr. 70 pour un solde de vacances non pris. Elle a rejeté toute autre conclusion. La cour a notamment considéré que les systèmes d'impression sans essuyage et recto verso représentaient des inventions de service au sens de l'art. 332 al. 1 CO et que les droits en découlant appartenaient dès l'origine à l'employeuse. Le jugement mentionne comme voies de recours l'appel auprès de la Cour d'appel civile du Tribunal cantonal et, s'agissant des prétentions relevant de l'instance cantonale unique prévue à l'art. 5 al. 1 let. a CPC (RS 272), le recours en matière civile au Tribunal fédéral. B.c L'employé a déféré ce jugement au Tribunal fédéral, en précisant qu'il agissait "à des fins conservatoires", dans l'hypothèse où son appel formé simultanément au niveau cantonal serait jugé irrecevable. Selon sa propre analyse, le jugement était une décision de première instance dans un pur contentieux de droit du travail, et donc entièrement susceptible d'appel. Toutefois, l'on ne pouvait exclure que les questions concernant la titularité des inventions soient qualifiées de "litige portant sur des droits de propriété intellectuelle" au sens de l'art. 5 al. 1 let. a CPC; dans ce cas de figure, les conclusions y relatives, tranchées en instance cantonale unique par la Cour civile, ne pourraient être réexaminées en appel. Par ordonnance du 16 novembre 2011, la Présidente de la Cour de céans a suspendu la procédure de recours jusqu'à droit connu sur l'appel cantonal. B.d La Cour d'appel civile a relevé que les prétentions litigieuses trouvaient toutes leur fondement dans le droit du travail, y compris celles ayant trait aux inventions de l'employé. En conséquence, elle a considéré que la Cour civile avait statué en première instance au sens de l'art. 308 CPC et que l'appel était entièrement recevable. Cela étant, elle l'a rejeté par arrêt du 26 mars 2012. C. L'employé (ci-après: le recourant) a déposé un second recours en matière civile au Tribunal fédéral, dans lequel il réitère les conclusions prises en appel, tendant en substance à ce qu'il soit déclaré titulaire exclusif (subsidiairement cotitulaire) des droits relatifs à l'invention concernée par la demande de brevet du 5 janvier 2005 et qu'en conséquence, l'employeuse se voie signifier l'interdiction, sous menace de la peine prévue à l'art. 292 CP, d'utiliser l'invention objet de la demande de brevet, respectivement les deux systèmes d'impression sans essuyage et recto verso. Il conclut en outre au paiement de 840'000 fr. à titre d'indemnité équitable pour les sept inventions déjà brevetées, respectivement de 61'290 fr. en guise d'indemnité pour son licenciement abusif. Il requiert enfin la confirmation de l'arrêt attaqué en tant qu'il lui alloue un montant de 14'694 fr. 70 pour un solde de vacances non prises. L'employeuse (ci-après: l'intimée) conclut au rejet du recours. La Cour d'appel civile se réfère à son arrêt. 