Aufenthaltsbewilligung, hat sich ergeben: A.- Der nigerianische Staatsangehörige X._ reiste am 31. Oktober 1994 in die Schweiz ein und stellte gleichentags ein Asylgesuch, welches das Bundesamt für Flüchtlinge am 22. Februar 1996 ablehnte. Auf die dagegen erhobene Beschwerde trat die Schweizerische Asylrekurskommission mit Entscheid vom 21. Mai 1996 nicht ein, weil X._ den Kostenvorschuss nicht bezahlt hatte. Am 26. März 1997 heiratete X._ die in der Schweiz niedergelassene italienische Staatsangehörige A._, geb. 1963, die zuvor am 20. November 1996 die gemeinsame Tochter B._ geboren hatte. Am 2. April 1997 ersuchte X._ um eine Aufenthaltsbewilligung im Rahmen des Familiennachzugs. Im Mai 1997 trennten sich die Eheleute. Mit Urteil vom 7. Oktober 1997 sprach der Gerichtspräsident 3 des Bezirksgerichts Baden die elterliche Obhut über das gemeinsame Kind sowie über das auf Ende Oktober erwartete weitere Kind der Mutter zu, legte das Besuchsrecht X._s auf 4 Stunden pro Monat fest und verpflichtete diesen zu Unterhaltsbeiträgen von zuletzt monatlich Fr. 1'563. -- zuzüglich Kinderzulagen. Beide Parteien fochten diesen Entscheid in Bezug auf das Besuchsrecht erfolglos an. Mit Klage vom 8. Oktober 1997 beantragte die Ehefrau beim Bezirksgericht Baden die Scheidung der Ehe. Am 31. Oktober 1997 wurde der gemeinsame Sohn C._ geboren. B.- Mit Verfügung vom 5. November 1997 verweigerte die Fremdenpolizei des Kantons Aargau X._ die nachgesuchte Aufenthaltsbewilligung. Am 6. März 1998 verurteilte das Bezirksamt Brugg X._ wegen illegaler Einreise und illegalen Aufenthalts in der Schweiz zu einer Gefängnisstrafe von sieben Tagen bedingt und einer Busse von Fr. 210. --. Eine gegen ihre Verfügung vom 5. November 1997 erhobene Einsprache wies die Fremdenpolizei des Kantons Aargau mit Entscheid vom 8. April 1998 ab. Dagegen erhob X._ Beschwerde beim Rekursgericht im Ausländerrecht des Kantons Aargau. C.- Auf eine von der Ehefrau im Februar 1998 eingeleitete Betreibung über den Betrag von Fr. 5'919. 20 für unbezahlte Unterhaltsbeiträge war am 25. März 1998 gegen X._ eine Lohnpfändung von monatlich Fr. 596. 85.20 verfügt worden. Mit Urteil vom 23. März 1998 hatte der Gerichtspräsident 3 des Bezirksgerichts Baden die Arbeitgeberin X._s angewiesen, von dessen Lohn monatlich den Betrag von Fr. 1'563. -- zuzüglich Kinderzulagen abzuziehen und direkt der Ehefrau zu überweisen. Dieses Urteil focht X._ beim Obergericht des Kantons Aargau an. Ende Juni 1998 verlor er seine Arbeitsstelle. Weil er infolge fehlender Aufenthalts- und Arbeitsbewilligung nicht mehr vermittlungsfähig im Sinne des Arbeitslosenrechts war, erhielt er keine Leistungen der Arbeitslosenversicherung und wurde von der kommunalen Fürsorge finanziell unterstützt. Am 18. Februar 1999 verurteilte das Bezirksgericht Baden X._ wegen Vernachlässigung von Unterstützungspflichten zu 10 Tagen Gefängnis bedingt. Dieses Urteil focht X._ an. Mit Urteil vom 22. April 1999 hob der Gerichtspräsident 3 von Baden in Abänderung des Entscheides vom 7. Oktober 1997 die Pflicht X._s zur Zahlung der damals festgelegten Unterhaltsbeiträge rückwirkend auf den 7. Oktober 1998 auf. Nachdem das Bezirksgericht Baden die Scheidungsklage der Ehefrau am 19. Mai 1998 abgewiesen hatte, schied das Obergericht des Kantons Aargau am 20. Mai 1999 die Ehe der Parteien auf Appellation der Ehefrau. Es sprach die elterliche Gewalt über die beiden Kinder der Mutter zu und räumte X._ ein Besuchsrecht von einem Tag pro Monat sowie jährlich 14 Tagen Ferien (ab deren 7. Altersjahr) ein. Das Obergericht verpflichtete ferner X._ zur Bezahlung von Unterhaltsbeiträgen für die beiden Kinder in der Höhe von insgesamt Fr. 1'000. -- pro Monat, soweit er nicht nachweise, dass er noch keine Arbeitsbewilligung erhalten habe. Der geschiedenen Ehefrau sprach es wegen überwiegenden Verschuldens keine Unterhaltsbeiträge zu. D.- Mit Entscheid vom 3. September 1999 wies das Rekursgericht im Ausländerrecht des Kantons Aargau (im Folgenden: das Rekursgericht) die Beschwerde gegen den Einspracheentscheid der Fremdenpolizei ab. Es begründete seinen Entscheid damit, dass zwischen X._ und dessen Kindern aufgrund seiner Zahlungsversäumnisse und -rückstände bezüglich der geschuldeten Unterhaltsbeiträge zumindest in wirtschaftlicher Hinsicht keine enge Familienbeziehung bestehe. E.- Dagegen hat X._ am 27. Oktober 1999 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den angefochtenen Entscheid aufzuheben und ihm eine Aufenthaltsbewilligung zu erteilen bzw. die Fremdenpolizei des Kantons Aargau anzuweisen, ihm eine solche zu erteilen. Zudem ersucht er um unentgeltliche Rechtspflege und Verbeiständung. Die Fremdenpolizei des Kantons Aargau hat keine Stellungnahme eingereicht. Das Rekursgericht hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen (für das Eidgenössische Justiz- und Polizeidepartement) beantragt, die Beschwerde abzuweisen. F.- Mit Verfügung vom 1. Dezember 1999 hat der Abteilungspräsident der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. 