pourquoi la seconde phrase n’est pas correct?

Je compris qu’il eut terminé avant moi. >>  je compris qu’il avait terminé avant moi.
Le passé antérieur n’est pas correct.
Vous trouverez partout que le plus que parfait s’utilise dans une subordonnée qui suit une  principale à l’imparfait, et le passé antérieur dans une subordonnée qui suit une principale au passé simple. Ceci est faux : votre exemple le montre.

En fait, si le plus que parfait et le passé antérieur expriment tous les deux un retour en arrière, la différence entre les deux est ceci :
Le passé antérieur exprime une antériorité (retour en arrière) d’un fait par rapport à un autre fait.
Le plus que parfait exprime une antériorité (retour en arrière) par rapport au récit.
Exemples :
– Après qu’il eut préparé sa valise, il s’assit dans son fauteuil pour attendre le taxi.
Le fait « préparer » vient juste avant le fait « s’asseoir »> passé antérieur

– Il s’assit dans son fauteuil pour attendre le taxi, regarda l’horloge avec anxiété. Il avait auparavant préparé sa valise avec beaucoup de difficulté
Le fait « Préparer » est pris dans un retour en arrière qui rompt la chronologie du récit (> plus que parfait) qui pourrait continuer ainsi : Il avait eu du mal à choisir entre ses pantalons ceux qui convenaient le mieux, il avait dérangé et arrangé plusieurs fois l’agencement de ses vêtements, etc.

Dans votre phrase, l’intention n’est pas de montrer que le fait de terminer a eu lieu juste avant celui de comprendre, mais d’évoquer une temporalité antérieure à celle du récit.
Pour utiliser le passé antérieur avec les mêmes faits, on devrait écrire : Après qu’il eut terminé, je compris …

Le conditionnel passé marque ici une anticipation sur la fin d’une action qui n’est pas terminée.
Par exemple :
Quand je vis qu’à la moitié du temps imparti il avait déjà rempli les deux-tiers du questionnaire, je compris qu’il aurait terminé avant moi.
De la même façon, si le premier verbe est au présent : Je comprends qu’il aura terminé

« Je compris qu’il eut terminé  » est une tournure incorrecte, cela n’aurait pas de sens, ainsi que vous l’explique si justement Tara.
On dira plutôt « Je compris qu’il avait terminé« .

Pour un sens équivalent au conditionnel passé, dans votre phrase, vous pouvez employer le conditionnel :
Je compris qu’il terminerait avant moi
De la même façon, si le premier verbe est au présent : je comprends qu’il terminera

Je compris qu’il aurait terminé avant moi : qu’il aurait terminé, c’est un conditionnel passé qui a valeur de futur antérieur.
Votre seconde phrase n’est pas correcte (je compris qu’il eut terminé).