« Je passe par la poste » : c’est une indication de direction.
« Je passe à la poste » : c’est une indication de lieu de destination.

« Je passe par la poste » indique une étape sur le trajet : Je vais chercher mon fils à l’école, et en revenant, je fais un détour, je passe par la poste pour faire un retrait d’argent.
« Je passe à la poste » est une façon familière de dire : Je vais à la poste et n’y reste pas longtemps. Je ne fais qu’entrer et sortir, le temps de poster une lettre. J’y passe. Si c’est pour un rendez-vous avec un conseiller financier, on ne peut pas dire ‘je passe à la poste’.