Bonjour,

Lorsque vous utilisez « plus de »,  cette augmentation (ou comparaison)  porte sur le substantif qui suit : « je mange plus de bonbons« .

Lorsque vous utilisez « plus « , vous augmentez l’action représentée par le verbe  : « Je mange plus » , « je mange plus lentement », « je mange plus qu’avant »

Dans votre cas, attention est effectivement un substantif mais fait également partie de certaines locutions verbales  : « faire attention », « prêter attention », « donner attention à ».

Votre question trouvera sa réponse dans le contexte :

« Henri accorde plus d’attention à son chat qu’à son chien. »

« Henri fait plus (prête plus) attention à son chien qu’à son chat. »