Bonjour Line, non, il ne faut pas faire l’accord : ils se sont demandé = ils ont demandé (à qui ?) à eux-mêmes, il s’agit donc d’un complément d’objet indirect, En conséquence, il n’y a pas lieu d’accorder le participe passé : « S’ils avaient fait comme ça, ils se seraient demandé à eux-même si ça avait du sens ».

« Se demander à soi-même »  est un pléonasme, car « SE » signifie déjà « à soi-même« .
Vous ne diriez pas « Je me demande à moi-même si j’ai bien fait  « , n’est-ce pas ?

Ma suggestion  : S’ils avaient agi ainsi, ils se seraient demandé si ça avait du sens.