Faits: A. Par jugement du 30 mars 2011, la Cour civile du Tribunal cantonal vaudois a reconnu l'Etat de Vaud débiteur de X._ de la somme de 50'900 fr., avec intérêt à 5% l'an dès le 27 octobre 1998 sur le montant de 7000 fr. et dès le 9 février 2000 sur le solde de 43'900 fr., fixé les frais de justice dus par X._ à 7020 fr. et ceux dus par l'Etat de Vaud à 3760 fr., alloué à X._ des dépens fixés à 8115 fr. et rejeté toutes autres et plus amples conclusions. B. Par arrêt du 12 mars 2012, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et l'appel joint formé par l'Etat de Vaud. En bref, il ressort les éléments suivants de cet arrêt. Le 6 juin 1988, la villa de X._ a été ravagée par un incendie d'origine criminelle. Une enquête pénale a été ouverte. Le lendemain, 7 juin 1988, X._ a été victime d'un accident de scooter, à Rome. Les médecins du service des urgences ont constaté une amputation traumatique des phalanges distales des 1er et 2e doigts de la main droite. En raison de cette amputation et de l'examen de la casserole retrouvée à proximité de la villa qui avait révélé qu'elle avait dû contenir un feu important qui aurait pu brûler l'auteur, X._ a été soupçonné d'avoir lui-même mis le feu à sa villa. Il a été inculpé le 13 octobre 1988 d'incendie intentionnel et d'escroquerie et placé en détention préventive. Il a été libéré après 28 jours. Dans le cadre de l'enquête, différentes commissions rogatoires et expertises ont été ordonnées. L'enquête a été marquée par de longs temps morts, puis clôturée par un non-lieu le 9 février 2000 après onze ans, huit mois et deux jours. Le 18 juillet 1988, l'Etablissement cantonal d'assurance contre l'incendie et les éléments naturels (ci-après : ECA) a proposé à X._ une indemnité de 650'000 fr. (montant porté à 665'000 fr. le 26 août 1988) en cas de reconstruction de la villa, payable à la fin des travaux, étant précisé que cette indemnité n'était due qu'après clôture de l'enquête pénale. Les travaux de reconstruction de la villa de X._ ont commencé au mois d'octobre 1989 pour se terminer à l'été 1990. Ils ont coûté un montant de l'ordre de 700'000 à 750'000 francs. A la suite du non-lieu prononcé en sa faveur, X._ a interpellé l'ECA pour qu'il statue sur l'indemnité due pour la destruction de sa villa. L'ECA a, par décision du 27 juillet 2001, refusé de verser ses prestations en invoquant la prescription. X._ a dès lors ouvert action contre l'ECA concluant à ce que cette assurance soit condamnée à lui verser les montants de 727'989 fr. avec intérêt à 5% l'an dès le 1er juin 1990 et de 290'000 fr. avec intérêt à 5% l'an dès le 1er août 1988. Par transaction des 13 et 16 septembre 2006, les parties ont convenu que l'ECA verserait à X._ les montants de 700'000 fr. à titre d'indemnité pour la destruction de sa villa et des meubles et objets s'y trouvant et de 100'000 fr. à titre d'indemnisation forfaitaire pour les intérêts courus depuis l'ouverture d'action le 27 août 2001. X._ n'a pas obtenu d'intérêts pour la période courant du moment de l'incendie au 27 août 2001. Par demande du 6 février 2001, X._ a ouvert action contre l'Etat de Vaud concluant au paiement d'un montant de 166'900 fr. avec intérêt à 5% l'an dès le 9 février 2000. Les juges de première instance ont accordé au recourant un montant de 7000 fr. à titre d'indemnité pour détention injustifiée et un montant de 26'900 fr. pour le remboursement de ses frais de défense. Ils ont estimé que l'enquête avait duré 8 ans et demi de trop et que l'autorité d'instruction avait ainsi violé le principe de célérité. Ils ont accordé à X._ une indemnité de 17'000 fr. à ce titre. Les premiers juges lui ont ainsi alloué 50'900 fr. au total. C. X._ forme un recours en matière civile contre l'arrêt du 12 mars 2012. Il conclut, sous suite de frais et dépens, principalement à la réforme de la décision attaquée en ce sens que l'Etat de Vaud est reconnu son débiteur de la somme de 166'900 fr. avec intérêt à 5% l'an dès le 27 octobre 1988 sur le montant de 7000 fr., dès le 16 mars 1998 sur le montant de 116'000 fr. et dès le 9 février 2000 sur le solde de 43'900 fr. et que des dépens de 1ère et 2ème instances, fixés à dire de justice mais pas inférieurs à 30'000 fr., lui sont alloués à la charge de l'Etat de Vaud. Subsidiairement, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Invités à déposer des observations sur le recours, la cour cantonale y a renoncé en se référant aux considérants de son arrêt, alors que l'Etat de vaud a conclu à son rejet. 