Bonjour Virginie, vous trouverez des informations intéressantes à ce sujet sur cette page du Projet Voltaire qui récapitule les différentes nuances de sens qui peuvent exister entre ces deux tournures. Certaines références (comme le dictionnaire de l’Académie) considèrent continuer de comme plus littéraire que continuer à. Mais d’une façon générale, les deux formes sont quasiment équivalentes et peuvent en pratique être employées indifféremment. On peut aussi préférer l’une à l’autre pour éviter un hiatus, par exemple continuer d’avancer au lieu de continuer à avancer. Et au§delà de ces considérations, c’est aussi une affaire de goût (pour votre phrase, j’aurais personnellement une préférence (subjective) pour le temps continuait de passer).

Ni le Bon usage, ni Joseph Hanse, ni  l’Académie française*,  ni la Banque de dépannage linguistique, ,ni Maurice Grevisse/Irène Maliwska  (La préposition), etc.,  (excusez du peu)  ne font de différence de sens entre continuer à et continuer de.

*Continuer à ou, litt., continuer de, suivi de l’infinitif, persister à, ne pas cesser de. Il faut continuer à travailler. La pluie continuait de tomber. Le mal continuait de se répandre.

Le B.U. actuel (§ 904) met même en garde contre ces différences (qui ont toujours été selon moi des raffinements, voire des arguties de grammairiens) :

« Des grammairiens ont essayé de découvrir des nuances sémantiques pour d’autres verbes : par ex., entre commencer à et commencer de, continuer à et continuer de   ; entre s’efforcer de et s’efforcer à, tâcher de et tâcher à.  Il est assez naturel que des écrivains sentent des différences, mais celles-ci ne sauraient être considérées comme générales et constantes. « 

Les seules différences qui existent ne sont pas sémantiques du tout : éviter des hiatus (il continua à appeler); continuer de semble un peu plus fréquent.

Vive J. Hanse qui a écrit : Continuer à, continuer de : le choix est libre.