En partant de votre deuxième phrase pour laquelle la présence de ne est impossible, on peut peut-être supposer que dans les versions dépourvues de ne apparent (alors qu’il est possible), celui-ci est tout de même présent de façon sous-jacente (par ellipse).

Prenons donc votre deuxième phrase en la modifiant un peu (juste parce que l’indépendance de pas loin est plus perceptible, me semble-t-il) :
Pas loin de la ville, je connais d’excellents producteurs.

Je pense que l’on peut dire que cet énoncé équivaut à Dans un endroit qui n’est pas loin de la ville, je connais d’excellents producteurs, et qu’on retrouve le même phénomène dans :
Il vit [dans un endroit qui n’est] pas loin de chez ses parents ou dans La ferme se situe [dans  un endroit qui n’est] pas loin du château.

Alors, on voit qu’on ne dit pas exactement la même chose, avec : Il ne vit pas loin de chez ses parents, on nie Il vit loin de chez ses parents ;
alors qu’avec Il vit pas loin de chez ses parents, on affirme que son domicile n’est pas éloigné de celui de ses parents.

Dans le premier cas, la négation porte sur vivre (sur le sujet finalement : Il (ne) vit (pas) loin), dans le second sur le lieu (le domicile est situé loin / n’est pas situé loin).

Et donc pour répondre à vos deux questions : il est proscrit en l’absence de verbe, et en présence il est facultatif, mais avec une nuance de sens.

Il ne vit pas loin de chez ses parents.  La négation porte sur l’adverbe – on n’a pas la locution adverbiale « pas loin »,seulement l’adverbe « loin ».
Je connais d’excellents producteurs pas loin de la ville. Ici, la phrase est affirmative : « pas loin » est locution adverbiale synonyme approximatif de « proche ».
La ferme ne se situe pas loin du château.
La ferme  se situe pas loin du château.
Les deux formulations ne répondent pas au même contexte  sans doute.
La ferme ne se situe pas loin du château. tu n’as pas besoin de prendre ta voiture.
Où se trouve la ferme ? Elle se situe pas loin du château