Franchement, oui ! Peut-être certains verraient-ils des nuances mais moi non ; dans les deux cas, la phrase pourrait s’analyser comme  signifiant « la vie est difficile quel que soit l’âge que l’on a ».

C’est ce qu’il me semble Jbambaggi. On peut aussi bien dire
* La vie est difficile à n’importe quelle age (tout)
* La vie est difficile à tous les âges (tous)