D’après le site de la cathédrale (ICI), le nom de l’église est seulement Saint-Jean–Baptiste, Rechèvres étant seulement le quartier de Chartres où elle est implantée. Dans ce cas, il ne semble pas faire partie intégrante du nom de l’édifice consacré et les autres traits d’union ne se justifient pas. Les différents résultats de recherche sur la Toile confirment cette impression.

Il faut des traits d’union partout :
L’église Saint-Jean-Baptiste-de-Rechèvres

C’est curieux, j’ai bien pensé à vous, Chambaron, en lisant la question. J’avais posé une question similaire (voir ici). Cela me fait plaisir que vous lire sur le même sujet.

Je n’ai pas su faire le lien et le texte s’efface si je tente de le modifier. Voici donc le lien ici. J’avais pensé que Chartres ne devait pas faire partie du nom.