Bonsoir,
« Allons voir de plus près » est la phrase correcte.
« Allons-y  » s’utilise à l’oral ou à l’écrit pour rapporter un dialogue.
Il exprime la volonté de partir sur le champ, ou de se rendre à un endroit évoqué précédemment.

On écrit : Allons-y.

Dans ces formes d’impératif (idem pour Va y et vas-y), le trait d’union n’est ajouté que si le y est le complément de aller, mais on s’en abstient s’il est celui du verbe qui suit.
On notera que le premier cas implique une liaison, pas le second…
À vous donc  d’adapter à chaque situation, mais votre exemple semble relever du second cas : allons y voir de plus près (le y est complément de voir, non de allons).
N.B. Il peut y avoir doute car on ne sait pas toujours si y désigne un lieu précis ou s’il fait partie de la tournure idiomatique dans laquelle il n’a pas de fonction grammaticale…