Premier est effectivement un adjectif qui peut être qualificatif.
Les premières fleurs, les premiers baisers…
Il s’oppose à dernier : les derniers jours de l’hiver...
Dans ces cas, en effet, on ne peut pas imaginer : les deuxièmes fleurs, les dixièmes baisers, les quatrièmes jours de l’hiver…
Mais ils sont aussi parfois ordinaux :  « Sauf premier et second, les adjectifs numéraux ordinaux se forment à partir des numéraux cardinaux par l’adjonction du suffixe –ième: Huit > huitième. Dix > dixième. Cent > centième «  TLF
Le premier, s’avança, puis le deuxième, le troisième…..jusqu’au dernier.

Dans votre phrase : c’est la première fois que tu viens dans cette ville, le mot « fois » ne laisse aucun doute : il est ordinal. La réponse pourrait être : non, c’est la cinquième fois.

Ah ces exercices! …

Dans cette phrase ce n’est donc pas un adjectif qualificatif.
Merci beaucoup pour cette réponse bien complète !

*