Faits : A. Par jugement du 7 août 2013, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a notamment reconnu Y._ et X._ coupables de brigandage, vol d'usage, conduite d'un véhicule malgré le refus, le retrait ou l'interdiction de conduire, usage abusif de permis et de plaques et infraction à la loi fédérale sur les armes. Tous deux ont été condamnés à une peine privative de liberté; le premier d'une durée de 42 mois et le second d'une durée de 60 mois, sous déduction de la détention subie avant jugement. B. Par jugement du 16 décembre 2013, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté les appels principaux des prévenus et a admis l'appel joint du Ministère public portant sur la peine prononcée à l'encontre de Y._. Elle a ainsi porté la peine privative de liberté de ce dernier à 60 mois. Pour le reste, elle a confirmé le jugement de première instance. Ce jugement repose en substance sur les faits suivants. Le 29 février 2012, vers 23h55, Y._ et X._ ont pénétré gantés et casqués dans la station-service A._ de C._ et ont ordonné aux quelques clients présents de se coucher au sol, avant de menacer les deux employées au moyen d'une arme de poing que le premier nommé s'était procurée, afin d'emporter le contenu de la caisse (soit 803 fr. 50). L'une des caissières a par ailleurs été giflée et bousculée. Les prévenus ont ensuite quitté les lieux au moyen d'un scooter volé, muni d'une plaque d'immatriculation volée également. Le 3 juillet 2012, à 14h30 à D._, Y._ et Z._, équipés de gants et de casques de motard, ont fait irruption dans le hall de la banque B._. Ils ont d'abord exigé que les clients présents et une employée de banque se mettent à genoux. Ils ont pointé leur arme en direction de la hanche d'une apprentie de la banque et sur la main prise dans une attelle d'un autre apprenti, lequel a reçu un coup à la tête de Z._. Les prévenus ont pressé les apprentis de leur remettre de l'argent et sont repartis avec un sac contenant un montant de l'ordre de 36'000 fr., au moyen d'un scooter volé conduit par Y._. Z._ et Y._ ont abandonné le scooter à quelques centaines de mètres de la succursale et sont montés dans une voiture parquée à proximité et conduite par X._. Ce scénario avait été mis au point les jours précédents par Y._, Z._ et X._. Lors de son interpellation intervenue quelques heures plus tard, X._ était notamment en possession d'un coup de poing américain, d'une clé de garage et d'une somme de 600 fr. C. X._ forme un recours en matière pénale contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il n'est plus condamné comme auteur du brigandage de la banque B._, mais simplement comme complice, la durée de sa peine privative de liberté devant être ramenée à 40 mois, sous déduction de la détention préventive. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour qu'elle le libère de l'accusation de brigandage en lien avec le braquage de la banque B._ et ne le condamne que pour complicité, puis réduise la peine en conséquence. Il sollicite en outre l'assistance judiciaire. 