Le verbe est s’essayer (+ à qqch) et non essayer avec un complément d’objet. Le pronom fait partie du verbe et n’a pas de fonction grammaticale (on ne s’essaie pas soi-même, le pronom n’est pas réfléchi) . Dans le sens de s’entrainer, faire un essai, il est donc essentiellement pronominal et s’accorde avec le sujet : « Ils se sont essayés à parler en public. »
Pour information, il y a une bonne cinquantaine de verbes de ce type en français et ils posent régulièrement des problèmes d’accord. La distinction entre le sens réfléchi et le verbe intransitif n’est en effet pas toujours évidente.

Bonjour,

Lorsque vous avez un doute sur  la nature de l’association pronom-verbe et la règle d’accord qui en découle, tentez de remplacer se sont par les ont ou par leur ont.
Si le résultat n’a pas de sens ou n’a plus du tout le même sens, alors ce n’est pas une construction pronominale réfléchie. Le participe passé s’accorde avec le sujet, ici le masculin pluriel : Ils se sont essayés à parler en public.
Si le remplacement par les ont est possible sans changement de sens du verbe, alors c’est une construction pronominale réfléchie (réflexive ou réciproque) dont le pronom est complément d’objet direct. Comme celui-ci est placé avant le verbe, le participe passé s’accorde avec ce pronom cod : Ils les ont lavés / Ils se sont lavés. Ils les ont rencontrés / Ils se sont rencontrés.
Si le remplacement par leur ont est possible sans changement de sens du verbe, alors c’est une construction pronominale dont le pronom est complément d’objet indirect. Le participe passé est alors invariable : Ils leur ont parlé / Ils se sont parlé.