Faits : A. A._ (1955) et B._, née C._ (1977), se sont mariés le 27 août 2010. Deux enfants sont issus de leur union: D._, né en 2006, et E._, née en 2010. Par convention du 24 novembre 2011, ratifiée par le Président du Tribunal civil de l'arrondissement de Lausanne (ci-après: le Président) pour valoir prononcé de mesures protectrices de l'union conjugale, les parties sont convenues de vivre séparées pour une durée indéterminée, ont réglé la garde partagée sur les enfants et ont fixé à 4'500 fr. par mois la contribution due par l'époux pour l'entretien des siens du 1er décembre 2011 au 31 mars 2012, une nouvelle audience devant être fixée en mars 2012. Par convention signée à l'audience du 29 mars 2012 et ratifiée par le Président, les parties sont notamment convenues que la contribution d'entretien demeurerait fixée à 4'500 fr. par mois jusqu'à nouvelle convention ou décision. L'époux, qui fait ménage commun avec sa nouvelle compagne depuis le mois de mars 2012, a eu un enfant avec celle-ci, F._, né en 2013. B. B.a. Le 31 octobre 2013, l'époux a introduit une action en divorce. Par requête de mesures superprovisionnelles et provisionnelles du 29 novembre 2013, il a requis de la Présidente du Tribunal civil de l'arrondissement de Lausanne (ci-après: la Présidente) que la contribution d'entretien soit fixée à 500 fr. par enfant, allocations familiales en sus, dès le 1er janvier 2014, aucune contribution n'étant due en faveur de l'épouse. Par requête de mesures superprovisionnelles et provisionnelles du 4 décembre 2013, il a requis, en substance, l'attribution de l'autorité parentale et de la garde sur les enfants. Les requêtes de mesures superprovisionnelles ont été rejetées par décisions des 4 et 13 décembre 2013. Dans ses déterminations écrites du 17 décembre 2013, l'épouse a conclu au rejet des conclusions sur mesures provisionnelles de son époux et a conclu, reconventionnellement, à ce que la pension soit fixée à 9'000 fr. par mois dès le 1er janvier 2013. Une audience s'est tenue le 8 janvier 2014. Par ordonnance de mesures provisionnelles du 3 avril 2014, la Présidente a ratifié la convention signée par les parties le 8 janvier 2014, qui instituait une garde partagée sur les enfants. Elle a en outre condamné l'époux à contribuer à l'entretien des siens par le versement d'une pension de 5'500 fr. par mois dès le 1er janvier 2014. B.b. Statuant le 25 avril 2014, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par l'époux contre cette décision, et " réformé d'office " ladite décision en ce sens que la pension mensuelle de 5'500 fr. " s'entend allocations familiales en plus ". Il a rejeté la requête d'assistance judiciaire de l'époux. C. Par mémoire du 20 juin 2014, l'époux exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à ce que la contribution d'entretien soit fixée à 1'480 fr. par mois, dès et y compris le 1er janvier 2014, et à ce que l'assistance judiciaire lui soit accordée pour la procédure d'appel. Subsidiairement, il sollicite le renvoi de la cause à la juridiction précédente pour nouveau jugement dans le sens des considérants. Il requiert aussi l'assistance judiciaire pour la procédure fédérale. Des réponses n'ont pas été requises. 