Wer das Webfrontend seiner Fritz!Box über https absichern möchte, der kann sich zwischen zwei Methoden entscheiden:

1. Um im LAN per https z. B. per https://fritz.box oder https://<IPv4> auf das Webinterface zugreifen zu können, kann zunächst mit OpenSSL eine eigene CA erstellt und anschließend ein Zertifikat für die Fritz!Box ausgestellt werden. Man muss dann in Windows (und/oder Browser) noch die (eigene) CA autorisieren, das Zertifikat in der Fritz!Box installieren und kann dann per https im LAN auf die Fritz!Box ohne Sicherheitswarnung per https zugreifen.
2. Die zweite Methode ist einfacher und für all jene sinnvoll, welche die MyFritz-Funktionalität wünschen. In der aktuellen Fritz!OS gibt es nämlich einen Schalter, mit dem man automatisch für seine MyFritz-Adresse ein Letsencrypt Zertifikat erstellen und einrichten kann. Nun muss nur noch ein Fritz!Box-Benutzer eingerichtet und ihm unter „System > FRITZ!Box-Benutzer > Benutzer“ das Recht zur Änderung der „FRITZ!Box Einstellungen“ gegeben werden und der Administration der heimischen Fritz!Box aus dem Remote-Office an der Costa del sol steht nichts mehr entgegen. So kann man z. B. sein VPN auch von unterwegs administrieren.

Wer also von unterwegs auf seine Fritz!Box zugreifen will/muss, sollte die 2. Variante wählen. Wer meint auch im LAN wäre nur eine https-Verbindung zeitgemäß (könnte ja jemand den Netzwerktraffic sniffen), und nicht von der MyFritz abhängig sein möchte, der sollte auch die 1. Variante konfigurieren.

Das Vorgehen ist im Wesentlichen hier beschrieben: https://thomas-leister.de/selbst-signierte-tls-zertifikate-mit-eigener-ca/ (übrigens eine tolle Webseite mit vielen nützlichen IT-Themen). Auch für die Fritz!Box gilt, wie von Thomas am Ende des Artikels beschrieben, dass der Public Key der CA an die Public Key Datei des Zertifikats angehängt werden muss.