Les deux sont synonymes et de même origine latine, je dirais que rancune est plus courant, on évoque au quotidien des personnes rancunières, qui ne nous parlent plus car elles ont été vexées. Sans rancune : je ne vous en veux pas.
La rancoeur atteint au coeur, on emploie le terme de façon plus emphatique.  C’est peut-être un peu plus fort

Rancune :
Souvenir tenace que l’on garde d’une offense, d’un préjudice, avec de l’hostilité et un désir de vengeance.
Avoir de la rancune contre qqn.

Rancoeur :
LITTÉRAIRE
Ressentiment tenace, amertume que l’on garde après une désillusion, une injustice, etc.
Avoir de la rancœur pour, contre qqn.