Bonjour,
Les trois peuvent se dire, selon sur quoi vous voulez insister.
– Ce genre de théorie n’est pas nouveau
(vous insistez sur le genre)
– Ce genre de théorie n’est pas nouvelle
(vous insistez sur le complément)
– Ce genre de théories ne sont pas nouvelles
(vous regroupez plusieurs théories dans un groupe et vous insistez sur elles)
C’est ce qu’en dit « BDL ». Il n’y a pas de règle absolue dans ce genre de cas, vous pouvez tant accorder avec le nom que son complément

C’est « ce genre » qui est sujet et « nouveau » est attribut du sujet « ce genre » (c’est ce genre qui est nouveau). Il faut écrire :
« Ce genre de théorie n’est pas nouveau ».

Tony,
Je suis bien étonné. Pour moi, « ce genre » est sujet du verbe être et non « théorie ». « nouveau » est attribut du sujet « genre » et s’accorde donc avec lui au masculin singulier.
Il ne peut en être autrement (ce genre n’est pas nouveau).

Pouvez-vous nous donner les références de l’article de la BDL ?

Bonjour Jean, il me semble que cette question a été discutée récemment. Après des noms collectifs comme genre de, type de, espèce de, sorte de, etc., l’accord se fait généralement par syllepse avec le complément lorsque celui-ci représente l’idée principale, le nom (genre, sorte, type) n’ayant alors qu’une valeur déterminative. Vous trouverez ici un article de la BDL traitant de ce sujet.