Un homme de conviction est un homme qui a « l’état d’esprit de quelqu’un qui croit fermement à la vérité de ce qu’il pense » (Larousse)
C’est le singulier que l’on utilise dans ce sens.

Au pluriel, les convictions sont des « Idées, opinions dont on est intimement convaincu. » (Académie) : avoir des convictions religieuses, politiques…
Les convictions appartiennent à des domaines différents que l’on ne peut pas exprimer avec l’expression homme de conviction.

J’opterais donc uniquement pour le  singulier, sinon il faudrait préciser : c’est un homme qui a des convictions religieuses, morales, politiques… 

Indépendamment de la possibilité de vérifier les choses dans un solide dictionnaire, vous pouvez vous référer aux expressions usuelles permettant de déterminer l’usage et le sens du mot « conviction » au singulier.

Par exemple :

–  j’agis « avec conviction  » : c’est-à-dire avec certitude, avec chaleur, avec franchise, avec sérieux, avec application, en croyant à ce que je fais ou dit ;

–  j’agis « par conviction » : parce que j’ai la certitude que (…), parce que je suis convaincu(e) ;

– j’agis « sans conviction » : c’est-à-dire sans enthousiasme, sans application ;

– il manque « de conviction » : c’est-à-dire qu’il manque d’enthousiasme, d’application ; c’est l’absence de conviction (d’enthousiasme) ;

Une « femme de conviction » est une femme qui agit « par conviction »,  une femme convaincue de la pertinence de son action.

L’expression « une femme ayant des convictions » n’en est bien sûr pas pour autant à écarter.