On s’est connus, lui et moi – on s’est connues, elle et moi (deux personnes féminines)
On peut prendre le sens de « nous » et alors on accorde selon le sens.

On a toujours besoin d’un plus petit que soi : ici le « on » est neutre et donc masculin singulier.