Faits : A. A.a. De nationalité française, les époux A.X._ et B.X._, qui étaient domiciliés à Genève, se sont installés, en 2000, dans le canton de Vaud, tout d'abord à Pully, avant de s'établir à Yens, dans leur propre maison, en 2001. Depuis 1994, A.X._ a exercé des mandats comme indépendant, notamment pour des sociétés pétrolières. Le 1er février 2002, il a été engagé comme employé par la société C._ Ltd sise aux Bermudes; il a touché une rémunération mensuelle de 12'500 fr. dès le 1er octobre 2002. Parallèlement, A.X._ était administrateur et actionnaire unique de la société D._ SA, dont le siège était à Genève et qui avait pour but le courtage, la gestion de biens et opérations financières en Suisse. Cette société a été dissoute en janvier 2009. A.b. Le 26 novembre 2001, les époux X._ ont déposé dans le canton de Vaud une déclaration d'impôt 2001-2002, annonçant une fortune imposable de 7'408'000 fr. et un revenu imposable de 506'334 fr. Le 13 mai 2002, ils ont indiqué à l'Office d'impôt de Lausanne-district (ci-après: l'Office d'impôt) qu'ils avaient omis de faire valoir des déductions pour frais d'acquisition de leur revenu dans leur déclaration. A la demande de l'Office d'impôt, les époux X._ ont produit différents documents et expliqué que A.X._ avait cessé son activité indépendante le 31 décembre 2001 et que, depuis le 1er février 2002, il travaillait au service de la société C._ Ltd aux Bermudes, son premier salaire lui ayant été versé à compter du 1er octobre 2002. Il demandait dès lors une taxation intermédiaire pour activité indépendante au 31 décembre 2001 et reprise d'une activité dépendante au 1er octobre 2002. Le 5 décembre 2003, les époux X._ ont déposé une déclaration 2001-2002bis, sans annoncer de revenus ou de charges extraordinaires. Ils ont déclaré des revenus d'activité indépendante de 390'336 fr. en 2001 et d'activité dépendante de 37'500 fr. entre le 1er octobre et le 31 décembre 2002. Le 14 janvier 2004, l'Office d'impôt a rendu trois décisions de taxation en matière d'impôt cantonal et communal (ci-après: ICC) pour la période fiscale 2001-2002 : une taxation ordinaire pour 2001, fixant le revenu imposable à 364'200 fr. et la fortune imposable à 5'904'000 fr.; une taxation intermédiaire pour la période du 1er janvier 2002 au 30 septembre 2002, fixant le revenu imposable à 0 fr. et la fortune imposable à 5'904'000 fr., et une seconde taxation intermédiaire pour la période du 1er octobre 2002 au 31 décembre 2002 fixant le revenu imposable à 139'800 fr. et la fortune imposable à 5'904'000 fr. A.c. Pour la période fiscale 2003, les époux X._ n'ont pas déposé de déclaration, de sorte qu'ils ont été taxés d'office le 8 décembre 2004, l'Office d'impôt établissant leur revenu imposable à 170'700 fr. en matière d'ICC et à 162'400 fr. en matière d'impôt fédéral direct (ci-après: IFD), la fortune imposable étant établie à 2'823'000 fr. A.d. Pour la période fiscale 2004, les contribuables ont déposé une déclaration le 15 novembre 2005 annonçant un revenu nul et une fortune imposable de 323'000 fr. A.e. Le 1er novembre 2005, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) a informé l'Administration cantonale vaudoise des impôts (ci-après: l'Administration cantonale) qu'il ressortait du dossier pénal de A.X._ et de D._ SA que A.X._ avait reçu des versements de D.M._ Ltd, E._ Group, F._ System et d'autres origines inconnues. Elle indiquait par ailleurs que l'Administration fiscale du canton de Genève était sur le point d'ouvrir une procédure en soustraction d'impôt et lui demandait d'ouvrir une telle procédure dans le canton de Vaud pour sauvegarder les droits du fisc sur le plan cantonal et fédéral. L'Administration fédérale avait elle-même déjà effectué des reprises d'impôt pour insuffisances de rémunérations et frais non justifiés par l'usage commercial pour les années 1997 à 2000. B. B.a. Le 8 novembre 2005, l'Administration cantonale a informé les contribuables de l'ouverture d'une procédure en soustraction fiscale pour les périodes 2001-2002 et 2003, étendue par la suite à 2004. Par décision du 28 janvier 2009, l'Administration cantonale a rendu une décision de rappel d'impôt et de taxation définitive pour les périodes fiscales 2001-2002, 2003 et 2004. Elle a notamment corrigé la taxation 2001-2002 pour tenir compte de la suppression des taxations intermédiaires du 1er janvier 2002 au 30 septembre 2002 (revenu: 0 fr. d'activité indépendante) et du 1er octobre 2002 au 31 décembre 2002 (revenu: 146'000 fr. d'activité indépendante). Elle a ainsi fixé les compléments d'impôts dus par les époux X._ pour les années 2001 à 2004 à 1'625'755 fr. 95 en matière d'ICC et à 761'296 fr. 90 en matière d'IFD. Pour ces mêmes périodes, elle a infligé des amendes de 2'236'600 fr. en matière d'ICC et de 1'090'600 fr. en matière d'IFD. Statuant le 28 janvier 2010 sur réclamation des époux X._, l'Administration cantonale a modifié les compléments d'impôts pour les périodes 2001 à 2004, les fixant à 613'191 fr. 85 pour l'ICC et à 585'674 fr. 35 pour l'IFD. Partant, les amendes ont été ramenées au total à 912'900 fr. pour l'ICC et à 844'900 fr. pour l'IFD. Les époux X._ ont recouru à l'encontre de la décision sur opposition du 28 janvier 2010 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Dans sa réponse du 24 juin 2010, l'Administration cantonale a pris des conclusions tendant à une reformatio in pejus de la décision attaquée concernant l'IFD de l'année 2000, sur la base des allégations des époux X._ faisant état de commissions versées par la société D.M._ Ltd pour un montant de 11'500'000 fr. et portées au crédit du compte-courant de l'actionnaire. Elle a considéré que ce versement constituait un revenu imposable, mais a admis en revanche que des versements de l'ordre de 2'386'890 fr. constituaient un remboursement du compte-courant actionnaire et non un revenu. Sur la base de ces éléments, l'Administration cantonale a pris de nouvelles conclusions en défaveur des contribuables, demandant à ce que le revenu imposable IFD pour les années 2001-2002 soit fixé à 7'185'000 fr., ce qui correspondait à un complément d'impôt de 790'738 fr. 25 pour 2001 et de 826'275 fr. pour 2002 (619'706 fr. 25 pour 270 jours et 206'568 fr. 75 pour 90 jours). L'amende pour soustraction de l'IFD devait ainsi être fixée à 1'186'100 fr. pour 2001, à 899'600 fr. pour la période du 1er janvier au 30 septembre 2002 et à 303'300 fr. pour la période du 1er octobre 2002 au 31 décembre 2002. La décision sur réclamation du 28 janvier 2010 pouvait être confirmée pour le surplus. Le 24 septembre 2010, les époux X._ ont informé le Tribunal cantonal qu'ils acceptaient le principe d'une procédure unifiée portant à la fois sur les reprises et sur les amendes. Par arrêt du 9 mai 2012, le Tribunal cantonal a admis partiellement le recours, annulé la décision du 28 janvier 2010 et renvoyé le dossier à l'autorité intimée pour nouvelle décision dans le sens des considérants, tant en ce qui concernait l'ICC que l'IFD. Examinant poste par poste les reprises contestées, le Tribunal cantonal en a confirmé certaines et annulé d'autres. Il a en particulier tenu compte du montant de 11'500'000 fr. dont l'Administration cantonale avait estimé en cours de procédure qu'il devait être repris à titre de commissions reversées à l'actionnaire. Ce montant était mentionné dans les comptes de D._ SA produits par A.X._ devant le Tribunal cantonal. Au total, les soustractions retenues en matière d'IFD se montaient à 14'136'793 fr. et à 1'498'769 fr. en matière d'ICC. S'agissant des amendes pour soustraction fiscale pour les années 2001 à 2003 et tentative de soustraction pour l'année 2004, les juges en ont confirmé le principe, mais ont renvoyé le dossier à l'Administration cantonale pour en fixer le montant en tenant compte, tant pour l'ICC que l'IFD, des corrections apportées aux éléments de revenus soustraits et des coefficients réduits de 1,5 à 1 pour la soustraction consommée relative aux périodes fiscales 2001 à 2003 et de 1 à 2/3 pour la tentative de soustraction portant sur la période fiscale 2004. Par arrêt du 21 janvier 2013 (causes 2C_560/2012 et 2C_561/2012), le Tribunal fédéral, constatant une violation du droit d'être entendu de A.X._, a annulé l'arrêt du 9 mai 2012 et renvoyé la cause au Tribunal cantonal pour nouvelle décision, après avoir permis au contribuable d'exercer son droit à la réplique. B.b. A Genève, le couple X._ était également en litige avec les autorités fiscales. Une procédure de rappel d'impôt et pour soustraction fiscale concernant tant l'IFD que l'ICC couvrant des périodes pendant lesquelles les conjoints étaient domiciliés à Genève a été menée à leur encontre. Par arrêt du 5 novembre 2013 (causes 2C_180/2013 et 2C_181/2013), le Tribunal fédéral a partiellement admis le recours déposé par A.X._ à l'encontre de l'arrêt rendu le 8 janvier 2013 par la Cour de Justice de la République et canton de Genève et renvoyé la cause à l'instance inférieure pour qu'elle recalcule l'IFD 1997-1998 en annulant une reprise de 49'940,14 francs français et qu'elle entende oralement le contribuable s'agissant de l'amende IFD. B.c. La procédure vaudoise, qui avait été suspendue jusqu'à ce que la Cour de céans statue sur le volet genevois, s'est soldée par un arrêt du Tribunal cantonal du 7 avril 2014. Après avoir garanti le droit d'être entendu du contribuable conformément à l'arrêt de renvoi du Tribunal fédéral du 21 janvier 2013 précité, les juges cantonaux ont partiellement admis le recours interjeté par les époux X._ à l'encontre de la décision sur réclamation du 28 janvier 2010 (plusieurs reprises ont été supprimées et les coefficients des amendes fiscales réduits) et annulé celle-ci. Le dossier a été retourné à l'Administration cantonale pour qu'elle calcule à nouveau les rappels d'impôts et les amendes sur la base des corrections adoptées. C. A l'encontre de l'arrêt du 7 avril 2014, A.X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et des rappels d'impôts, ainsi que des amendes prononcées. Subsidiairement, il demande l'annulation des reprises de 103'000 fr. pour la période de calcul 1999 et de 2'100 fr. pour la période de calcul 2000, déterminantes pour l'IFD 2001/2002, à ce que la reprise de 11'500'000 fr. déterminante pour la période de calcul 2000 en matière d'IFD 2000 (recte : 2001/2002) soit fixée à 4'541'503 fr. et à ce que les amendes pour toutes les périodes et impôts concernés (IFD et ICC) soient ramenées au montant maximum de 30'000 fr. Il requiert en outre le renvoi de la cause à la Cour cantonale ou à toute autre juridiction pour complément d'instruction. A.X._ demande par ailleurs l'assistance judiciaire. Le Tribunal cantonal s'est référé à l'arrêt attaqué. Au terme de ses déterminations, l'Administration cantonale propose le rejet du recours dans la mesure de sa recevabilité, tout en renonçant à se déterminer sur la demande d'assistance judiciaire. L'Administration fédérale des contributions, se ralliant au dispositif et aux considérants de l'arrêt du 7 avril 2014, ainsi qu'aux observations de l'Administration cantonale, conclut au rejet du recours. A.X._ a exercé son droit à la réplique le 15 septembre 2014. Il a encore fourni ultérieurement au Tribunal fédéral des documents relatifs à une procédure pénale diligentée contre des agents du fisc français et leurs supérieurs à la suite d'une plainte du contribuable. 