Faits: A. A.X._, domicilié avec son épouse, B.X._, à C._, a exercé différentes activités lucratives dans le canton du Valais. Il a notamment présidé, dès le 1er janvier 1994, la Caisse de retraite et de prévoyance du personnel enseignant du canton du Valais (ci-après : la CRPE), après avoir été membre, puis président, de la Commission de gestion de cette institution depuis 1973. Il a également assumé la fonction de secrétaire, du 14 janvier 1987 au 31 mars 2004, de la Fédération des magistrats, des enseignants et des fonctionnaires de l'Etat du Valais (ci-après: la FMEF). Il a par ailleurs été enseignant à temps partiel auprès du cycle d'orientation de C._ et directeur des hôtels-écoles de D._ et C._. En outre, il a été administrateur de différentes sociétés, en particulier de E._ SA. Par jugement du 13 avril 2011, la Cour pénale II du Tribunal cantonal valaisan a reconnu A.X._ coupable d'abus de confiance, d'escroquerie, de tentative d'escroquerie, de gestion déloyale, de faux dans les titres, d'instigation à faux dans les titres et de blanchiment d'argent. Les faits ayant entraîné cette condamnation avaient trait à ses activités pour le compte de la CFPE, de la FMEF et de E._ SA. Le recours interjeté contre ce jugement a été partiellement admis par le Tribunal fédéral le 14 mai 2012 (affaire 6B_489/2011), la cause étant renvoyée à la cour cantonale afin qu'elle se prononce à nouveau uniquement sur le montant et la garantie de la créance compensatrice à laquelle A.X._ a été condamné. B. Par décision sur réclamation du 8 octobre 2009, la Commission d'impôt des personnes physiques du Service des contributions du canton du Valais (ci-après: la Commission d'impôt) a fixé les éléments imposables des époux X._ pour chacune des périodes fiscales de 1997 / 1998 à 2006. Elle a rejeté les réclamations portant sur les rappels d'impôt pour les périodes 1997 / 1998, 1999 / 2000 et 2001 / 2002 - à l'exception du rappel d'impôt en matière cantonale et communale pour la période 1997 / 1998 - et celles portant sur les taxations d'office pour les années 2003 à 2006. Saisie d'un recours dirigé par A.X._ et B.X._ contre la décision précitée de la Commission d'impôt du 8 octobre 2009, la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) l'a partiellement admis, par décision du 25 janvier 2012. Elle a annulé la décision attaquée en tant qu'elle concernait l'impôt fédéral direct et les impôts cantonaux et communaux pour la période 1999 / 2000 et l'a confirmée pour le surplus. Elle a rejeté la demande de suspension de la procédure jusqu'à droit connu sur la procédure pénale et a retenu, en substance, que les moyens des contribuables relatifs aux indemnités et remboursement de notes de frais, aux titres et avoirs non déclarés et aux taxations d'office pour les années 2003 à 2006 étaient irrecevables pour défaut de motivation, que les griefs d'ordre formel articulés par les intéressés (accès au dossier de l'autorité inférieure, composition de la Commission d'impôt, mode de signature et de notification de la décision attaquée du 8 octobre 2009) étaient infondés et que les revenus réalisés par A.X._ dans le cadre du commerce de titres auquel il s'était livré constituaient des revenus d'une activité indépendante soumis à l'impôt ordinaire sur le revenu. C. A l'encontre de la décision de la Commission cantonale de recours du 25 janvier 2012, A.X._ et B.X._ forment auprès du Tribunal fédéral deux recours en matière de droit public, l'un en matière d'impôts cantonal et communal (affaire 2C_511/2012) et l'autre en matière d'impôt fédéral direct (affaire 2C_512/2012). Ils concluent, sous suite de frais et dépens, à titre préalable, à l'octroi de l'effet suspensif et de l'assistance judiciaire ainsi qu'à la suspension de la procédure jusqu'à droit connu sur l'affaire pénale concernant A.X._ et, à titre principal, à l'annulation de la décision entreprise. Ils se plaignent de la violation du droit d'être entendu, d'une application arbitraire du droit, de formalisme excessif, d'une violation du droit à un tribunal impartial et d'une violation du principe de la bonne foi. La Commission cantonale de recours, le Service des contributions du canton du Valais (ci-après: le Service cantonal des contributions) et l'Administration fédérale des contributions proposent de rejeter les recours. Les contribuables ont confirmé leurs conclusions dans leurs observations sur les prises de position des autres parties en cause. D. Par ordonnance du 21 juin 2012, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté les requêtes d'effet suspensif présentées. 