La formulation en l’état est en effet assez ambigüe en première lecture : on ne saisit pas intuitivement qui « regrette », le suivi ou le suiveur.
Après réflexion, on se dit que la locution adverbiale se rapporte à l’agent actif qui suit et non à celui, passif, qui est suivi, de la même manière qu’on dirait « suivi nonchalamment », « suivi sans précipitation » ou « suivi à quatre pattes ». C’est donc bien le fils qui suit à contrecœur.
L’inverse (forme active) se perçoit plus aisément : « Il sortit, suivant à regret son fils. »

Il n’y a aucune hésitation possible. L’adverbe modifie un verbe qui est passif.  L’agent de ce verbe+ adverbe n’est donc pas le sujet mais le complément (d’agent).
Il sortit, suivi à regret par son fils
Si « il » est sujet du verbe sortir, il est objet du verbe suivre dont on n’a que le participe passé (il était) suivi par son fils
« Fils » est bien l’agent (celui qui agit, qui suit) et complément introduit par « par »
« à regret » est locution adverbiale modifiant (donnant une information sur) le verbe suivre.
Transformé à la forme passive : Il sortit ; son fils le suivit (ou le suivait) à regret.