Quand vous écrivez « l’emploi du déterminant leur signifierait… », vous parlez du déterminant leur sous ses deux nombres (leur/leurs), ou seulement du déterminant leur au singulier ?
Si vous voulez exclure uniquement le singulier pour la raison qu’il y a plusieurs choses, plusieurs réalités, l’argument est invalide : ils parlent à leur femme, ils parlent à leurs femmes.
Si vous pensez qu’on est dans un cas où le déterminant possessif est impossible, il faut donc trouver une autre raison que celle de la chose non partagée.

Les deux nombres leur/leurs  sont à exclure pour les raisons que je donne en réponse à Marcel. Il y a en effet deux objets distincts : une 3e participation et une 5e participation qui ne peuvent pas être introduits par un même déterminant possessif, ni au singulier puisque le référent de la 3e comme de la 5e est unique, ni au pluriel puisqu’il ne s’agit pas du même objet. « Ils parlent respectivement à leur(s) première et deuxième femme(s). » n’a pas de sens.

C’était sans doute maladroitement expliqué et cela m’a tracassé pendant la nuit. Il y a incompatibilité entre l’adverbe respectivement qui répartit le lot de chacun et un déterminant possessif pluriel immédiatement subséquent comme leurs qui rassemble autour d’un objet identique. Il faut donc inverser l’ordre pour que le propos demeure cohérent.
La phrase correctement énoncée et accordée doit ainsi être : « Untel et untel vivaient leurs respectivement troisième et cinquième participations. » puisque les adjectifs ordinaux ne peuvent pas être rejetés après le substantif comme dans l’exemple leurs chapeaux respectivement bleu et vert.

L’accord au singulier aboutit à un non-sens, car chacun n’ayant connu qu’une seule participation, il n’existe qu’un seul référent pour la 3e participation, un seul pour la 5e participation, ce qui exclut le déterminant leur qui doit se référer à une pluralité ; il faudrait alors dire : « Untel et untel vivaient respectivement sa 3e et sa 5e participation.« , solution sémantiquement correcte mais qui ne se dit pas.
L’accord au pluriel supposerait que les deux individus partagent la même réalité matérielle pour autoriser l’emploi du déterminant leurs. Or une 3e participation, ce n’est pas une 5e participation (cf. remarque de CParlotte) . D’accord pour leurs femmes mais on ne dirait pas : « *Ils sont venus respectivement accompagnés de leurs jeune et vieille femmes. » La position très en amont de l’adverbe redistributif respectivement est dérangeante. On pourrait dire « Les hommes déposent leurs chapeaux respectivement bleu et vert. », mais pas : « *Les hommes déposent respectivement leurs chapeaux bleu et vert.« 
S’il est vrai que j’ai déjà entendu la formulation « Untel et untel vivaient respectivement leurs 3e et 5e participations. « , il n’en demeure pas moins que c’est une construction aberrante et qu’il vaut mieux trouver une autre manière de le dire.

Pour le singulier, je vous rejoins, il n’est pas possible, pour les raisons que vous donnez.

Pour le pluriel, j’ai l’impression que ça fonctionne, puisque dans ce cas, ce qui est en commun, c’est la participation : Les deux candidats ont grandement apprécié leur(s) participation(s) à cet évènement, c’était la 3e pour l’un, la 5e pour l’autre.

Néanmoins étant donné le caractère pas mal casse-tête de cette question (pour moi en tout cas), dans le doute (tant qu’il n’est pas levé), une reformulation pourrait être souhaitable, si on veut conserver les déterminants possessifs, par exemple : Untel et untel qui vivaient respectivement, l’un sa 3e participation, l’autre sa 5e.