Vous avez raison.
Le pronom représente la proposition infinitive.

Bonjour,

L’ n’est pas un pronom relatif mais un pronom neutre. En général le participe passé précédé de l’ est invariable. L’  qui équivaut à cela représente la proposition entière.

Avoir la pêche, j’ai décidé cela.

Cependant il est difficile de savoir si l’ représente la proposition entière. il peut parfois représenter un nom. Dans ce cas le participe passé s’accorde avec le nom.

Cette maison est plus grande que je ne l’avais imaginée.

Ici c’est la maison que j’avais imaginée ; pas le fait qu’elle soit grande.

Écrivez :

Avoir la pêche, je l’ai décidé.

Avoir la pêche, je l’ai décidé  – J’ai décidé quoi ? D’avoir la pêche.  » l’  » mis pour « avoir la pêche », vous avez raison, Joëlle aussi. Et comme, jusqu’à présent en tout cas, il n’y a que deux genres en français – le masculin et le féminin, pas de neutre, quoi qu’en dise l’actuel locataire de la rue de Grenelle -, l’accord se fait au masculin.

Cette maison est plus grande que je ne l’avais imaginé = cette maison est plus grande que je n’avais imaginé qu’elle fût. Le ‘ l’ ‘ ne se rapporte pas à maison et il n’y a donc pas de raison d’accorder.

Bonjour,

Au risque de vous déplaire, la phrase que j’ai proposée est tout à fait correcte sur le plan orthographique ;  vos critiques  sont donc injustifiées.

Dans « Le bon usage » on peut lire :

On fera attention que l’objet direct l’ représente éventuellement un nom et que dans certaines phrases, il peut y avoir accord ou invariabilité suivant le point de vue où l’on se place.

Nous montâmes à ma chambre, qui était telle que je l’avais laissée (Tr. Bernard).
La maison était certes grande, et moins pourtant que nous ne l’avions jugée (G. Duhamel).
La nature apparaîtra plus généreuse qu’on ne l’avait  crue (J. Rostand)

D’autres exemples :

Je me rends compte que la navigation sera moins agréable que je ne l’avais prévu/prévue.
C’était un jour d’hiver plus clair que ceux qui l’avaient précédé.
Dieu a donné une sœur au souvenir et il l’a appelée espérance.

Question de Joelle : En ce cas sur quoi porte le comparatif « plus grande que » ? Quel est le comparant ?

Réponse : les comparatifs appellent d’ordinaire une proposition conjonctive corrélative; celle-ci est souvent elliptique.

J’ai plus de souvenirs que si j’avais mille ans ( = … que je n’en aurais si …)

C’est chaud…
Le Bon usage me dit (§949) : Les participes dit, dû, cru, pu, voulu, permis, pensé, prévu et autres semblables restent invariables lorsqu’ils ont pour objet direct un infinitif ou une proposition à sous-entendre après eux (cf. § 218, f) . Le pronom que qui précède est alors objet direct du verbe à sous-entendre, et non du participe.

Rostand me semble avoir pris plus de libertés que je ne l’aurais cru.

Aussi, je penche pour Joëlle et jbambaggi.

La phrase de Lauren ne comporte pas de difficulté :
Avoir la pêche, je l’ai décidé (je n’ai en aucun cas, décidé la pêche !). Le pronom l’ (qui n’est pas relatif) représente bien toute  la proposition infinitive.
En revanche, la phrase comparative  peut être soumise à interprétation. Je ne vous départagerai donc pas, car, à mon sens, les deux sont possibles, même si l’invariabilité est la plus courante. Donc, je pense que vous avez tous raison, et madame Boudou avec.
http://www.cordial.fr/manuels/PP_PART.htm