_ Le participe passé suivi d’un infinitif s’accorde uniquement si le complément d’objet direct, placé avant le participe, fait l’action exprimée par l’infinitif.
_ Dans le cas contraire, c’est-à-dire quand le COD placé avant le verbe ne fait pas l’action exprimée par l’infinitif, le participe passé reste invariable.
« Elle s’est laissée  mourir » : c’est bien elle qui meurt, d’où l’accord.
« Elle s’est laissé  critiquer sans réagir » : ce n’est plus elle qui critique, on la critique, d’où l’invariabilité.

Dans votre exemple, ça n’est pas « nous » qui faisons l’action de « dire », donc le PP ne s’accorde pas.