C’est l’adjectif favorable qui me paraît problématique dans votre phrase.
Bavarder moins vous permettra de progresser. 

Bonjour,

Vous avez le choix selon que vous considérez le problème dans sa  globalité ou dans ses multiples répétitions.

Vous pouvez aussi décider d’accorder au mot bavardage un sens conceptuel (Le bavardage est son principal défaut), et auquel cas tout mettre au singulier : Moins de bavardage ne pourra qu’être favorable à vos progrès.