On ne compte pas un nombre mais des éléments, ici des différences.
donc l’accord se fait avec différences : comptées

« Peut-on compter les nombres…

… et comparer les infinis ?

Note ici le nombre de différences que tu as comptées.

Le mot « nombre » signifie ici  : Évaluation, caractérisation d’un ensemble, d’une pluralité d’objets, de personnes et plus précisément :  La quantité en tant qu’elle est plus ou moins grande (Définition TLF)
(et  évidemment pas : concept de base des mathématiques, nombres cardinaux 1 2 3 4 5… ou ordinaux premier deuxième …)

Si on remplace dans votre phrase « nombre » par « quantité » :
Note ici la quantité de différences que tu as comptées
On voit bien que ce sont les différences et non la quantité qui est antécédent du COD « que ».
Quantité – nombre sont ici des collectifs : ils se comportent un peu comme des déterminants indéfinis.