Le PP employé avec l’auxiliaire « avoir » s’accorde en genre et en nombre avec le COD, s’il est placé avant l’auxiliaire.
Ils ont inspiré qui ? Moi, qui est placé avant, donc on accorde en genre et en nombre :
S’il s’agit d’une femme « inspirée« 
S’il s’agit d’un homme « inspiré« .
Dans la deuxième partie de la phrase, « moi » n’est pas COD de « servir », qui n’a pas de COD. Donc pas d’accord :
(à noter qu’il est indispensable d’accentuer une majuscule !)
À ceux qui m’ont inspirée / inspiré et servi de référence.

À propos de la réponse de Cathy Lévy

Dans la deuxième partie de la phrase, « moi » n’est pas COD de « servir », qui n’a pas de COD. Donc pas d’accord :

J’AJOUTERAIS QUE C’EST UN COMPLÉMENT INDIRECT OU COI.
À ceux qui m’ont inspirée / inspiré et servi de référence.

Il n’y a pas d’accord dans le cas d’un complément d’objet indirect.
Qui m’ont servi -> servi à qui ? À moi ! donc COI, ce qui signifie qu’il n’y a pas d’accord.

Merci beaucoup  Cathy, je vois bien pour inspirée, mais servi mon esprit a un peu de difficulté. mais bon, bravo pour votre grammaire et merci- Ca aide bien pour ce qu’il faut- Amicalement- annemarie