Dictionnaire de l’Académie française, « II. Gens » : 

« Suivi d’un complément introduit par de, gens s’emploie aussi pour désigner un groupe particulier de personnes d’une certaine profession, d’un certain état (dans ce sens, gens est souvent employé comme le pluriel d’homme). Les gens d’Église. Les gens de guerre, les gens d’épée. Gens de pied, gens de cheval, fantassins, cavaliers. Gens d’armes, voir Gendarme. Les gens de robe, les magistrats. On dit indifféremment Gens de loi ou Hommes de loi, Gens de lettres ou Hommes de lettres. Les gens de finance. Les gens d’affaires. Les gens de mer. Les gens du roi, se disait des procureurs et avocats généraux, ou des procureurs et avocats du roi. Les gens de maison, les domestiques. Les gens du voyage, les forains, les artistes de cirque, les nomades. »

Le Thomas dit que les adjectifs sont toujours au masculin pluriel avec gens de lettes : De nombreux gens de lettes (Ac.).

Le Larousse en ligne :
« Gens de. .. L’adjectif est toujours au masculin avec les expressions gens de robe, gens d’Église, gens d’épée, gens de guerre, gens de lettres, gens de loi : il fréquente de brillants gens de lettres et d’ennuyeux gens de loi. »

Etc.

Avec gens de lettres, c’est toujours au masculin.
Regardez sur Larousse en ligne, je ne peux pas vous donner le lien, mais vous pouvez le trouver.

Effectivement, je n’avais pas vu : « Gens de. .. L’adjectif est toujours au masculin avec les expressions gens de robe, gens d’Église, gens d’épée, gens de guerre, gens de lettres, gens de loi : il fréquente de brillants gens de lettres et d’ennuyeux gens de loi. »