Le français est une langue analytique dans laquelle on n’hésite pas à répéter les mots qui contribuent à une bonne syntaxe, parfois au prix d’une impression de « lourdeur ». C’est en particulier le cas des prépositions comme dans votre exemple.
Il peut néanmoins arriver que l’on fasse l’économie de la répétition dans des écrits informels ou pour marquer la solidarité entre deux éléments. « J’en parle à Pierre et Paul » (solidairement) est légèrement différents de « J’en parle à Pierre et à Paul » (séparément).
Donc, plutôt : « Il se rendait compte qu’il pénétrait dans un bureau et dans un musée. »

Je suis d’un autre avis. Il me semble qu’ici, enlever la deuxième préposition signale que la pièce est à la fois bureau et musée.
Cependant, la reprise de « dans » n’est pas erronée.

Il y a des cas où la répétition de la préposition entraîne des phrases ambiguës : Je te présente mon père et mon meilleur ami vs Je te présente mon père et meilleur ami. La première phrase contrairement à la deuxième signifie que l’on présente deux personnes. Une autre formulation permet de conserver la répétition de la préposition tout en signifiant qu’on présente une seule personne (qui est à la fois le père et le meilleur ami du locuteur) : Je te présente Arthur, qui est mon père et mon meilleur ami.

Dans votre phrase, la présence du verbe entrer implique – même si la préposition est répétée – qu’il est question d’une seule pièce, cependant, préposition répétée ou omise, je trouve votre phrase maladroite.  Si vous en avez la possibilité, le mieux serait de la reformuler. Propositions pas forcément géniales, mais c’est pour vous donner des pistes :
… qu’il entrait dans un bureau-musée, dans un bureau qui ressemblait à un musée, comme s’il entrait dans un musée, etc.