Bonjour Nikki35000.
L’emploi des deux auxiliaires est possible avec cependant une nuance de sens.
Je croyais nous en avoir débarrassés : on insiste sur l’action de se débarrasser  et que cette action a été menée par « nous ».
Je croyais nous en être débarrassés : on insiste sur le résultat (nous sommes maintenant débarrassés).

Bonjour Nikki35000,

Je ne suis que partiellement d’accord avec la réponse donnée par PhL :
OK pour la nuance actif / résultatif (ou passif), mais en revanche,

*Je croyais nous en être débarrassés n’est pas correct.

On a soit la forme active + avoir –> débarrasser qq de qq chose / qq, donc avec un COD :
Je croyais nous en avoir débarrassés.

Soit la forme pronominale + être –> se débarrasser de qq chose / qq
Je croyais m’en être débarrassé.
Nous croyions nous en être débarrassés.

Soit la forme résultative / passive +  être –> être débarrassé de qq chose / qq = il n’y a alors pas de COD :
Je croyais en être / en avoir été débarrassé.
Nous croyions en être / en avoir été débarrassés.

(Par ailleurs, il y a une petite coquille : ce n’est pas « nous », mais « je » qui a mené l’action.)

Quant à l’accord du participe, il est correct, puisque nous est COD et est placé avant l’auxiliaire – si nous = uniquement des femmes –> débarrassées.

C’est cette nuance qui m’avait fait douter. Merci beaucoup pour vos explications.