Da Port 80 für die Zertifikate verantwortlich ist, muss es dann wohl an dem liegen.
Ja, für Challenge response wird einzig Port 80 benötigt, was auch nicht änderbar ist.
Am besten erlaubst Du für kurze Zeit mal das Port 80 auch für die Webbox genutzt werden darf und nicht nur für Let's Encrypt. Dann kannst Du selbst von außen testen ob Du auf Eure Webbox zugreifen kannst. Wenn das klappt muss das Problem entweder in einer Geographischen Zugriffsbeschränkung, in Eurer oder der Firewall Eures Providers liegen.
Das:
Ich hab das Zertifikat schon gelöscht, aber auch das hilft nicht.
War übrigens ein großer Fehler, denn jetzt hat Dein Server gar kein gültiges Zertifikat mehr zur Verfügung.
Hättest Du das nicht gelöscht wären dir rund 29 Tage geblieben Dein Problem in aller Ruhe zu lösen. Denn bei Let's encrypt sind die Zertifikate stets 90 Tage gültig, werden aber immer schon nach 60 Tagen erneuert um im Fall das diese automatische Erneuerung aus welchen Gründen auch immer mal nicht klappt ausreichend Zeit zur Reaktion und Fehlerbeseitigung zu haben.