Je fais souvent une distinction entre l’écrit et l’oral (moyen d’expression plus « souple », il me semble).
Quand je rencontre « par contre » à l’écrit, je corrige et propose « en revanche ».
En revanche, à l’oral, son emploi ne me dérange pas.

Paris, la capitale de la France.
Effectivement, pourquoi supprimer l’article ?
Pour éviter la répétition, on peut peut-être écrire : Paris, capitale de la France.

On lutte contre l’institution, donc contre l’Église de Scientologie.
Comme l’a souligné Jean-Louis, la question est traitée par le Projet Voltaire.