Justement, oublié doit s’accorder avec … ce qui est oublié : c’est vous qui décidez et cela donne le sens.
Voilà un exemple d’accord qui peut nous permettre de comprendre ce que vous voulez dire.

Tu l’avais oublié (vous reprochez à votre interlocuteur l’oubli du prénom).
Tu l’avais oubliée ( vous reprochez à votre interlocuteur l’oubli de la personne).==>Dans ce cas, j’aurais écrit, tu ne te souvenais plus d’elle, ou tu l’avais effacée de ta mémoire.

Petite remarque, Anne est une personne, je ne sais pas si l’expression : « Anne (n’)est (pas) mon meilleur souvenir d’enfance » est vraiment très adaptée.
==>Ma rencontre (ou mes jeux) avec Anne est ou sont mon/mes meilleur(s) souvenir(s) d’enfance.

À force de vouloir être précis, joelle, on risque de perdre en clarté, en concision, en esthétique, en poésie.
Ne trouvez-vous pas que « tu l’avais oubliée », simplement, est quand même préférable, pour ces raisons, à «  tu ne te souvenais plus d’elle » ou à « tu l’avais effacée de ta mémoire » que je trouve plus lourd ?
Enfin, l’accord est suffisamment explicite pour la compréhension, c’est sans ambiguïté, il n’est pas nécessaire de modifier la phrase :
— « […] Anne, […] mon meilleur souvenir d’enfance,  […] son prénom , tu l’avais oubliée », c’est bien Anne qui est oubliée.
— « […] Anne […] mon meilleur souvenir d’enfance, […], son prénom, tu l’avais oublié », c’est bien le prénom qui est oublié.