Des livres anciens que mon père a découverts

oui on accorde le participe passé avec le COD placé avant car il y a l’auxiliaire avoir.

Des livres anciens que mon père a découverts...+ verbe conjugué
Non, on n’accorde pas  le participe passé « découverts » avec livres mais avec « que » pronom relatif.

Ce n’est pas une phrase que vous citez mais un début de phrase. Je la complète. Par exemple :
Des livres anciens que mon père a découverts se sont révélés de grande valeur.
Cette phrase se décompose en deux propositions :
Des livres anciens se sont révélés de grande valeur.
Que mon père a découverts –> que reprend le nom « livres » en évitant sa répétition. Il a le nombre et le genre de ce nom, c’est à dire masculin pluriel (= mon père a découvert ces livres anciens) – il est COD et se trouve avant le verbe ; l’accord du PP se fait avec lui.

Quant à « livres », il est dans la phrase 2, sujet du verbe révéler. Un nom n peut avoir deux fonctions dans une même phrase