Pléonasme et maladresse pour cette formulation en effet.
Je dirais qu’il éprouve une grande curiosité ou un vif intérêt pour quelque chose.
Il s’intéresse avec constance à quelque chose.

Pour tous les pléonasmes concernant le sens d’une phrase, sentez-vous totalement libre d’écrire ce que vous voulez, ce n’est après tout qu’une insistance (je lui parle à lui), une répétition inutile (je le connais, Paul), l’expression d’une évidence (il monte en haut)… Dites ces phrases à haute voix, ou demandez à vos relecteurs, et vous saurez quelles tournures pléonastiques sont à supprimer, et au contraire lesquelles apportent un supplément de sens à votre texte. La plupart des pléonasmes ne présentent aucune faute syntaxique. Votre lecteur peut vous reprocher un pléonasme s’il n’aime pas votre style, mais aucun grammairien ne peut le faire.
Les pléonasmes syntaxiques sont plus difficiles à accepter (c’est de lui dont je parle), mais ils sont assez rares, et votre exemple n’en fait pas partie : il n’y a pas de pléonasme syntaxique dans votre phrase, donc elle est valide.
Toutes les répétitions sont autorisées. Toutes les évidences sont précisables. Aucune prescription idiote de « pléonasme interdit » n’est acceptable.
— On peut s’intéresser à n’importe quoi.
— On peut regarder n’importe quoi avec curiosité.
— Il n’y a aucun pléonasme syntaxique à mettre dans la même phrase le verbe « s’intéresser » et le mot « curiosité ».
Donc oui, vous avez le doit d’aligner les quatre mots « s’intéresser avec curiosité« . Rien ne vous garantit en revanche qu’un cinquième mot ne rendra pas votre phrase invalide. La langue française ne fonctionne pas ainsi : « est-ce que l’alignement de ces quatre mots est possible ? » Une phrase, c’est un peu plus compliqué que quatre mots juxtaposés, et parfois il y a un sens derrière des mots.

Je suis d’accord avec Pie : l’utilisation d’un pléonasme peut être un choix. Il n’y a effectivement pas d’interdits à poser ou à respecter en écriture. Ce qui est important, c’est bien d’être conscient de la façon dont on écrit et pourquoi on choisit telle formulation.

TLF : Pléonasme : terme ou expression qui ajoute une répétition (consciente ou inconsciente) à ce qui a été énoncé.
Dans le cas que vous proposez, les termes ne sont pas exactement redondants, il n’y a pas pléonasme :
– S’intéresser à qqc, c’est accorder son attention à ce qqc.
– La curiosité est une envie, un désir de connaître ou de savoir.
On peut très bien s’intéresser à qqc par devoir, avec une certaine réserve.

LE TLF donne même cet exemple : − [Par métonymie, le complément d’objet désigne une faculté, un sentiment, un attribut de la pers.] Faire impression (sur cette faculté) et provoquer une réaction d’intérêt. Intéresser la curiosité, la pensée, les regards

Ainsi, c’est un pléonasme ! Sur le Dictionnaire de l’Académie
française c’est moins évident.

À mon sens c’est au contraire très clair pour l’Académie :

Intéresser : Pron. S’intéresser à, porter attention à, prendre intérêt à. Il s’est intéressé à ce jeune homme, à sa carrière. Personne ne s’intéresse plus que moi à tout ce qui vous touche. Il mérite qu’on s’intéresse à lui. Ils s’intéressent de près à cette affaire. 
Se dit souvent simplement pour Éprouver de la curiosité, de l’attrait pour. Un enfant qui s’intéresse à tout. Elle s’intéresse à la peinture, à la politique. Il ne s’intéresse à rien.

Curiosité : Passion, désir, empressement de voir, de découvrir, d’apprendre, de connaître des choses nouvelles, dignes d’intérêt. Une grande, une louable, une insatiable curiosité. Il a peu de curiosité. Cela excite, pique la curiosité. Ce que vous dites ne fait que redoubler ma curiosité. Aller voir quelque chose par curiosité, par curiosité d’esprit. Il avait la curiosité de voyager. Je vous pose cette question par simple curiosité.

Aussi, sans l’ombre d’un doute,  votre proposition est inappropriée, « Éprouver de la curiosité avec curiosité   » est en effet pléonastique.
On dira plutôt :
S’intéresser à…
Témoigner de l’intérêt pour…
Avoir une insatiable curiosité pour…