Faits: A. A._, né en 1949, et dame A._, née en 1967, se sont mariés le 27 juin 1998, sans conclure de contrat de mariage. Deux enfants sont issus de leur union: B._, née en 1998, et C._, née en 2000. Les époux vivent séparés depuis le 1er janvier 2006, le père contribuant à l'entretien de sa famille par le versement d'une pension mensuelle de 2'500 fr., allocations familiales comprises. B. Par demande du 13 mai 2008, l'épouse a ouvert action en divorce devant le Tribunal d'arrondissement de Lausanne, concluant notamment à ce que son mari contribue à l'entretien de chacune de ses filles par le versement d'une pension mensuelle de 1'000 fr. jusqu'à l'âge de 14 ans, puis de 1'200 fr., dès lors et jusqu'à la fin de leur formation professionnelle, allocations familiales en sus, et à la restitution de 14 sculptures qu'elle avait créées durant le mariage. L'époux a conclu au rejet de la requête et pris des conclusions reconventionnelles. B.a Lors d'une audience du 7 novembre 2008, les époux sont notamment convenus de fixer la contribution d'entretien pour la famille à charge du père à 1'800 fr. par mois, allocations familiales en sus. La convention a été ratifiée par le Président du Tribunal d'arrondissement pour valoir ordonnance de mesures provisionnelles. Par décision du 11 août 2009, confirmée par arrêt sur appel du 14 janvier 2010, le Président du Tribunal d'arrondissement a rejeté la requête de mesures provisionnelles du 27 janvier 2009 de l'époux tendant à ce que la contribution d'entretien de la famille mise à sa charge soit réduite à 1'000 fr. par mois, dès le 1er février 2009. Le 30 novembre 2009, l'époux a déposé une nouvelle requête de mesures provisionnelles, alléguant que la situation financière de son entreprise s'était détériorée et concluant au versement d'une contribution d'entretien mensuelle de 450 fr. par enfant. Les parties sont convenues, lors d'une audience du 2 février 2010, que l'époux contribuerait à l'entretien des siens à hauteur de 1'200 fr. par mois. B.b A la suite de l'audience préliminaire du 2 février 2009, le notaire Pierre Badoux a été mis en ?uvre par le Président du Tribunal d'arrondissement pour stipuler la liquidation du régime matrimonial. Le 2 décembre 2009, le notaire a déposé son rapport d'expertise, proposant que l'époux verse à son épouse la somme de 98'850 fr. à titre de liquidation du régime matrimonial. A la suite de la requête du mari, le notaire a déposé un rapport complémentaire le 2 juillet 2010, modifiant son expertise en ce sens que l'épouse a contre son époux une créance en restitution des 14 sculptures qu'elle a réalisées, ainsi que d'un montant de 89'818 fr.10. Le contenu de ces rapports d'expertise sera repris ci-après dans la mesure utile (cf. infra consid. 3.2). Le 16 juillet 2010, l'épouse a précisé sa conclusion relative à la liquidation du régime matrimonial - son mari étant débiteur de la somme de 107'718 fr.10 - et dressé la liste des sculptures dont elle exigeait la restitution. L'époux a modifié ses conclusions par acte du 14 janvier 2011. Il a ainsi conclu à ce que la contribution d'entretien en faveur de chacune de ses filles se monte à 425 fr. par mois jusqu'à l'âge de 14 ans révolus, puis à 500 fr. depuis lors et jusqu'à la majorité ou la fin d'une formation professionnelle, et à ce que le régime matrimonial soit déclaré dissous et liquidé, sous réserve de la restitution des 14 sculptures à son épouse. B.c Par jugement du 12 avril 2011, le Tribunal d'arrondissement de Lausanne a prononcé le divorce des époux A._. Il a notamment astreint le père à contribuer à l'entretien de chacune de ses filles par le versement d'un montant mensuel de 600 fr. jusqu'à l'âge de 15 ans, puis de 650 fr. dès lors et jusqu'à la majorité ou l'achèvement d'une formation professionnelle appropriée dans des délais normaux, condamné le mari à restituer à son épouse les sculptures qu'elle a réalisées durant le mariage et prononcé la dissolution et la liquidation du régime matrimonial des époux, moyennant le versement par le mari à son épouse d'une somme de 89'818 fr.10 avec intérêt à 5% l'an dès le jugement définitif et exécutoire. B.d Par arrêt motivé du 5 septembre 2011, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel) a rejeté l'appel formé par l'époux, tendant à l'admission de ses conclusions du 14 janvier 2011. C. Par acte du 6 octobre 2011, l'époux interjette un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme du jugement de première instance, confirmé en appel, en ce sens que la contribution d'entretien en faveur de chacune de ses filles se monte à 425 fr. par mois jusqu'à l'âge de 14 ans révolus, puis à 500 fr. depuis lors et jusqu'à la majorité ou la fin d'une formation professionnelle appropriée au sens de l'art. 277 al. 2 CC, et à ce que le régime matrimonial soit déclaré dissous et liquidé, sous réserve de la restitution des 14 sculptures à son épouse, subsidiairement, au renvoi de la cause à l'autorité précédente et, encore plus subsidiairement, au renvoi de la cause à l'autorité de première instance. A l'appui de ses conclusions, le recourant fait valoir, d'une part, que la contribution a été fixée en violation de l'art. 285 al. 1 CC, notamment en appliquant à tort la théorie de la transparence, d'autre part, que l'expertise relative à la liquidation du régime matrimonial est entachée de vices en ce qui concerne l'évaluation de l'immeuble, de son entreprise, des sculptures des époux, de ses dettes et des économies de son épouse, partant, que l'adhésion aux conclusions de cette expertise est notamment contraire à l'art. 209 al. 3 CC et à la jurisprudence rendue au sujet de l'art. 211 CC. Le recourant sollicite au préalable le bénéfice de l'assistance judiciaire. Des réponses n'ont pas été requises. 