Comme on ne croit qu’en Dieu…La juste formule est :
Je vous prie de croire, Madame, à l’assurance de ma considération distinguée.
ou
Je vous prie d’agréer, Madame, l’expression de ma considération distinguée.

Vous trouverez toutes sortes de réponses sur internet mais dans la correspondance, seul « croire à  » est correct.

Comme expliqué à l’occasion d’une autre question sur le sujet, l’usage a consacré une différence de sens entre « de » et « en » :
– on croit à quelque chose ;
– on croit en quelqu’un, avec une connotation de confiance : je crois en lui  signifie qu’on lui fait confiance pour réaliser quelque chose.

Il est donc plus raisonnable de demander de croire à l’assurance de ma considération .

Merci donc croire c’est bien « à l’assurance de ma considération ».

Cette répartition des emplois n’est pas aussi tranchée. On peut croire en quelque chose, croire en la vie éternelle, par exemple, et croire à quelqu’un, croire à Jésus-Christ.

Croire à quelqu’un signifie tenir pour certaine son existence, admettre son pouvoir : Il croit aux revenants. Il ne croit ni à Dieu ni à Diable.

Croire à quelque chose signifie être convaincu de la réalité, de l’efficacité de cette chose : Croyez à mes sentiments dévoués. Je ne crois plus à ses promesses. Croire en quelqu’un ou en quelque chose marque un abandon plus confiant que croire, croire à, une adhésion, souvent du cœur, pouvant entraîner un comportement moral ou même religieux. Je crois en Dieu, je crois en l’homme. Croyez à mon entière confiance et en ma fidèle amitié. Monsieur.

L’Académie française donne quelques exemples parlants à l’article croire de son Dictionnaire :
• avec une connotation religieuse (mais universelle quant à la syntaxe) : « croire à Jésus-Christ », « dans les pires épreuves, il crut en Jésus-Christ », « croire en, avec une insistance mise sur la confiance du fidèle », « croire à l’Incarnation, croire en l’Incarnation, à la vie éternelle, en la vie éternelle » ;
• en formule de politesse : « je vous prie de croire à mes sentiments dévoués. Croyez, je vous prie, à mon amitié ».

Dans le cas présent, il semble opportun de dire : « je vous prie de croire à l’assurance de ma considération distinguée. »

Dans le Robert on écrit « croire qqch » ou « croire à qqn ou qqch signifie « tenir pour réel, vraisemblable ou possible ». Alors pour le chrétien qui croit à la résurrection du Christ ou à l’existence d’un Dieu, cela est vérifié.
Alors que l’expression « croire en qqn ou qqch » revient à « avoir confiance en qqn ou qqch ». Chacun prendra en considération . Personnellement, je ressens l’ambiguïté de la première définition et je fais plutôt confiance en la personne ou je crois en l’assurance de sa considération.