De tout potager agricole :
– pour le sens : de n’importe quel potager
– pour l’accord au singulier (tout + potager)

Bien sûr, si vous écrivez :
Tous les potagers agricoles (sens : la totalité des potagers agricoles)
Il faut le pluriel.

Quand tout est adjectif (c’est le cas ici) il s’accorde avec le nom qu’il précède :
« un des principaux facteurs de succès de tout potager agricole… »

Quelqu’une a reproché récemment au site de ne pas faire de la vraie grammaire. Alors voici une façon de répondre à la question qui lui aurait peut-être convenu :

Tout se met au singulier quand, comme ici, il signale le parcours d’un ensemble dont les éléments sont considérés exhaustivement, chacun valant pour tous, par généralisation.