J’avais passé un petit village et j’étais passé par un petit village
Les deux phrases font un emploi différent du verbe « passer » et ont un sens différent :

J’avais passé un petit village : l’auxiliaire est « avoir » et la construction du verbe est directe (il n’y a pas de préposition entre le verbe et le complément  » un petit village »). Le sens est « dépasser« .

J’étais passé par un petit village  : l’auxiliaire est « être » et la construction du verbe est indirecte (il y a entre le verbe et le complément, une préposition : « par », qui désigne le lieu ou le point de passage obligés d’un parcours,ici à peu près « au travers »

Il y a donc un choix à faire selon ce qu’on veut dire.

J’étais passé par un village.