Faits: A. Les époux A._, se sont mariés le 18 août 1998. De cette union sont issus deux enfants: B._, née en 1999, et C._, né en 2002. Par acte du 12 octobre 2010, le mari a requis des mesures protectrices de l'union conjugale, concluant à l'attribution de la garde des enfants, à ce que la mère bénéficie d'un libre droit de visite, à ce que la jouissance de la villa conjugale lui soit attribuée, les charges étant assumées par lui, et à ce que l'épouse contribue à l'entretien des siens par le versement d'une pension de 1'500 fr. par mois dès le 1er octobre 2010. Le 21 octobre 2010, l'épouse a ouvert action en divorce devant le Tribunal civil d'arrondissement de Lausanne. Elle a alors pris des conclusions provisionnelles tendant à ce que la garde des enfants lui soit accordée, sous réserve d'un libre droit de visite du père, à l'attribution de la jouissance de la villa conjugale, les charges étant assumées par elle, et à ce que le mari contribue à l'entretien des siens par le versement d'une pension de 1'500 fr. par mois dès le 1er octobre 2010. A l'audience du Président du Tribunal du 1er novembre 2010, la requête de mesures protectrices de l'union conjugale déposée par le mari a été convertie en requête de mesures provisionnelles dans le cadre du procès en divorce. Trois témoins ont alors été entendus. B. Par ordonnance de mesures provisionnelles du 18 février 2011, le Président du Tribunal a, notamment, confié la garde des enfants à la mère, fixé le droit de visite du père, attribué la jouissance du domicile conjugal à l'épouse, celle-ci devant en assumer les charges, astreint le mari à verser une contribution à l'entretien de ses enfants d'un montant total de 1'500 fr. par mois, allocations familiales en plus, dès et y compris son départ du domicile conjugal, enfin, déclaré l'ordonnance immédiatement exécutoire nonobstant appel. Ledit juge a notamment considéré que la mère était capable de s'occuper de ses enfants malgré sa maladie (diabète de type I) et que, compte tenu de l'âge de ceux-ci, elle devait se voir attribuer leur garde. Par arrêt du 4 avril 2011, notifié en expédition complète le 12 mai 2011, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel du mari. C. Par acte du 14 juin 2011, A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut à l'annulation de l'acte attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il se plaint d'arbitraire (art. 9 Cst.) et de violations du droit d'être entendu (art. 29 al. 2 Cst.). L'intimée propose le rejet du recours. L'autorité cantonale se réfère aux considérants de son arrêt. 