Malgré les apparences, c’est une question très pointue. Les mots qui composent l’expression ont en effet changé de sens avec l’évolution des techniques d’impression après la Seconde Guerre mondiale.
Pour faire simple et résumer, disons qu’en typographie classique (au plomb, depuis Gutenberg), un caractère était le style (le type de dessin) propre à une composition. On parlait donc du caractère Helvética ou Boldoni et chaque lettre individuelle utilisée était une fonte (fondue dans un moule) de la taille souhaitée. La police de caractère (comme celle d’assurances) était donc la liste écrite de toutes les fontes utilisées pour un texte dans un caractère donné.
Avec la photocomposition puis l’informatique, il y a eu un glissement et le terme police a perdu son sens pour prendre celui de « famille », tout comme la fonte qui est devenue caractère. Cela explique la forme « police de caractères », abusive pour un spécialiste mais inéluctable et courante pour notre époque.
Les deux formes coexistent donc de nos jours. Pour un écrit courant, vous pouvez utiliser le pluriel, personne ne percevant plus la nuance que j’ai rappelée.