Bonjour,
Tout dépend ce que vous entendez par ces termes.

Voici ce que stipule le dictionnaire de l’Académie française :

OUTRE-MER
Au-delà des mers. Se dit en particulier des colonies, anciennes colonies ou possessions d’un pays par rapport à la métropole. Un voyage outre-mer. Partir outre-mer. La France d’outre-mer ou, subst., au masculin, l’outre-mer. L’École nationale, les administrateurs de la France d’outre-mer (anciennement). Depuis la décolonisation, désigne certains territoires situés hors de la métropole et qui bénéficient de statuts juridiques particuliers. Les départements d’outre-mer (ou, par abréviation, les DOM), la Guadeloupe, la Martinique, la Guyane, la Réunion et Mayotte. Les territoires d’outre-mer (ou, par abréviation, les TOM), Wallis-et-Futuna et les Terres australes et antarctiques françaises, ainsi que, naguère, la Nouvelle-Calédonie et la Polynésie-Française.

Source Larousse

Une majuscule est théoriquement requise lorsque le terme « outre-mer » désigne des territoires européens situés hors des limites conventionnelles de l’Europe. Exemple  : le ministre de l’Outre-mer.

« Outre » est un adverbe signifiant « au-delà » –

Le Robert
outre-mer ​​​ : adverbe et nom masculin invariable
Au-delà des mers, par rapport à une métropole. Les départements français d’outre-mer (DOM). nom masculin invariable Les outre-mer ou l’outre-mer : l’ensemble des départements et collectivités d’outre-mer. Ministère des Outre-mer.

La France d’outre-mer ou les Outre-mer¹ ou encore les outre-mers

> Lorsque outre-mer garde son rôle d’adverbe il ne prend pas de majuscule.
> Lorsqu’on l’utilise comme un nom, on a le choix d’utiliser ou non la majuscule.
> noter l’invariabilité ou non selon qu’on envisage plusieurs territoires situés dans des mers différentes (« Outre » demeurant invariable).

Bonjour,

Pluriel : outre-mers ou outre-mer

1. Minuscule initiale.

a. Nom. Territoire situé au-delà des mers par rapport à une métropole. 

b. Adverbe. Au-delà des mers, par rapport à la France : aller outre-mer, aller s’établir outre-mer.

2. Majuscule initiale.
Désigne la France d’outre-mer : le ministre de l’Outre-mer, le ministère de l’Outre-mer.

Les départements français d’outre-mer, les territoires français d’outre-mer, les collectivités d’outre-mer, l’Armée d’outre-mer, les gendarmes d’outre-mer.

Cf. Le grand Larousse illustré.
Le grand Robert papier (7 + 2 volumes).