OZD 632. 2-80 - BJ B 112469 Jashat sich ergeben: A.- Die deutschen Behörden ermitteln gegen mehrere Personen, die im Verdacht stehen, als Mitglied einer internationalen Tätergruppierung in den Jahren 1994 und 1995 Zigaretten im Umfang von mindestens 400 Lastkraftwagenladungen über ein Zollfreilager in der Schweiz nach Bulgarien und Mazedonien versandt zu haben. Eigentlicher Bestimmungsort sei jedoch Montenegro gewesen, von wo aus die Zigaretten nach Italien geschmuggelt worden seien. Diese Handlungen hätten dem Ziel gedient, die Schwarzmärkte der Europäischen Union mit Zigaretten zu versorgen und gleichzeitig die finanzielle und wirtschaftliche Lage Serbiens und Montenegros während des Embargos der Vereinten Nationen zu verbessern. Der Europäischen Union sei hierdurch ein Steuerschaden von rund 800 Millionen DM entstanden. Den Beschuldigten - zu denen auch der Schweizer Staatsangehörige W._ zählt - wird Abgabenhinterziehung in einem besonders schweren Fall in Tateinheit mit Urkundenfälschung und Verstössen gegen das Aussenwirtschaftsgesetz (Embargobestimmungen der Vereinten Nationen gegen Restjugoslawien) vorgeworfen. B.-Mit Rechtshilfeersuchen vom 18. September 1998 ersuchte der Leitende Oberstaatsanwalt in Augsburg die schweizerischen Behörden um Einsicht in die bei den Zolluntersuchungsdiensten Zürich und Heerbrugg befindlichen Unterlagen und Beweismittel, die im Rahmen eines Zollstrafverfahrens erhoben worden waren. C.-Das Bundesamt für Polizeiwesen (BAP) übertrug die Durchführung des Rechtshilfeverfahrens am 15. Juli 1999 der eidgenössischen Zollverwaltung. Mit Eintretens- und Schlussverfügung vom 26. Juli 1999 entsprach die Oberzolldirektion dem Rechtshilfeersuchen im Sinne der Erwägungen vollumfänglich und ordnete an, die ersuchte Akteneinsicht sei nach Eintritt der Rechtskraft der Verfügung zu gewähren. D.- Am 12. November 1999 hiess das Bundesgericht die hiergegen gerichtete Verwaltungsgerichtsbeschwerde W._'s gut, soweit es darauf eintrat, weil die Oberzolldirektion bei Erlass der Schlussverfügung den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt und das Vorliegen eines Abgabebetrugs zu wenig begründet habe. E.- Am 15. Dezember 1999 stellte die Oberzolldirektion dem Rechtsvertreter W._'s das Rechtshilfeersuchen vom 18. September 1998 zu, wobei eine Passage von zehn Zeilen abgedeckt wurde. Mit Schreiben vom 6. Januar 2000 nahm W._ hierzu Stellung und teilte sinngemäss mit, er sei mit der Übersendung der ihn betreffenden Akten an die Staatsanwaltschaft Augsburg einverstanden, sofern sein Brief vom 28. September 1995 samt Beilage an den Zolluntersuchungsdienst Heerbrugg davon ausgenommen werde. In zwei Telefongesprächen mit dem zuständigen Sachbearbeiter der Oberzolldirektion führte er zur Begründung aus, das Schreiben sei vertraulich gewesen und enthalte Angaben zur Person, zur Geschäftstätigkeit und zum Warenablauf sowie eine Liste über verschiedene Firmen und ihre Vertragspartner, die nicht zur Kenntnis der deutschen Behörden bestimmt seien. Am 31. Januar 2000 nahm auch der Rechtsvertreter von W._ Stellung. F.- Am 4. April 2000 bat die Oberzolldirektion die Staatsanwaltschaft Augsburg um ergänzende Informationen, namentlich zu den von den strafbaren Handlungen betroffenen Abgaben. Mit Schreiben vom 8. Juni 2000 machte der leitende Oberstaatsanwalt in Augsburg ergänzende Angaben zu den bisherigen Ermittlungen und teilte mit, dass durch den Zigarettenschmuggel sowohl das Gemeinwesen Europäische Union als auch die einzelnen Mitgliedstaaten geschädigt worden seien, in denen Zigaretten auf den Schwarzmarkt gelangt seien, insbesondere Grossbritannien, Italien, Spanien und Deutschland. Der Gesamtschaden belaufe sich auf mindestens 800 Millionen DM durch Hinterziehung von Zoll, Mehrwert- und Verbrauchssteuern. G.- Am 15. August 2000 erliess die Oberzolldirektion eine Eintretens- und Schlussverfügung, in der sie die Akteneinsicht der deutschen Behörden in die W._ betreffenden Akten - darunter auch das Schreiben an den Zolluntersuchungsdienst Heerbrugg vom 28. September 1995 - sowie die Zustellung von Fotokopien dieser Akten an die deutschen Behörden bewilligte. H.- Hiergegen erhob W._ am 14. September 2000 Verwaltungsgerichtsbeschwerde ans Bundesgericht. Er beantragt, es sei "das Begehren der OZD abzuweisen"; eventualiter sei ein Spezialitätsvorbehalt anzuordnen, wonach die durch Rechtshilfe erhaltenen Auskünfte wegen Taten, bei denen Rechtshilfe nicht zulässig ist, weder für Ermittlungen benützt noch als Beweismittel verwendet werden dürfen, vor allem bei fiskalischen Delikten. Die Oberzolldirektion und das Bundesamt für Justiz beantragen, die Verwaltungsgerichtsbeschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Justiz beantragt ferner, es sei eine gegenüber der bisherigen Formulierung des Spezialitätsgrundsatzes erweiterte Verwendung der Vollzugsakten auch zugunsten von zollrechtlichen Administrativverfahren zu bewilligen. I.- Mit Verfügung des Instruktionsrichters vom 23. Oktober 2000 wurden dem Beschwerdeführer Kopien der ihn betreffenden Aktennotizen der Zollbehörden vom 28. September 1995 und vom 24. November 1995 geschickt und ihm Gelegenheit gegeben, hierzu Stellung zu nehmen. 