En fait, je pense que c’est une question de contexte ; cette remarque s’inscrit dans un texte ou dans une discussion et des éléments nous permettent d’attribuer des propos. C’est au rédacteur de lever l’équivoque.

– Comme le disait (si bien) ma grand-mère, ce n’est pas tous les jours dimanche. ( la grand-mère disait : « ce n’est pas tous les jours dimanche »)

– Contrairement à ce que vous pensez, j’ai un diplôme de plomberie. La personne à qui je m’adresse doute de mes compétences en plomberie.

Vos exemples :
Nous ne sommes pas mardi, comme tu l’as dit (Il a dit que c’est mardi ou que ce n’est pas mardi ? ==>Il y a un doute. Donc, tout dépend de ce que la personne a dit peu avant.
 Cet écrivain ne décrit pas un monde imaginaire, contrairement à ce qu’ont affirmé certains. On déduit  du début de la phrase que certains ont affirmé que l’écrivain décrivait un monde imaginaire.

Question intéressante car le risque d’amphibologie (confusion) est bien réel malgré une construction anodine.
À mon sens, tout repose sur la virgule qui a ici un rôle syntaxique.

Cet écrivain ne décrit pas un monde imaginaire, comme certains l’ont affirmé :  la virgule isole le premier membre  de phrase et affirmer  a donc pour complément la totalité de ce membre (à travers le pronom l’). On peut alors redisposer la phrase ainsi :  Comme certains l’ont affirmé, cet écrivain ne décrit pas un monde imaginaire.
La locution contrairement à  reprend alors pleinement son sens d’antonyme.  À l’oral, la pause marque la distinction sans ambigüité.

Si vous supprimez la virgule, ce qui est moins naturel comme expression, vous ôtez cette articulation et créez un doute, voire rendez la phrase inintelligible.

Merci, Joelle.
Ce n’est donc pas moi qui lis mal ces phrases. Dans certains cas, sans le contexte, il est difficile, voire impossible de saisir le sens. C’est effectivement au rédacteur d’éviter les équivoques.
On rencontre parfois des équivoques similaires comme dans le dialogue suivant:
 »  Tu n’es pas malade ?
– Non. (non est la bonne réponse , il n’est pas malade)
D’autres, influencés  sans doute par la pratique d’autres langues, répondent  » oui  »  pour dire  oui, tu  as raison, je ne suis pas malade). S’ils répondent « non », c’est pour dire  » non, tu te trompes, je suis malade »
Faut toujours faire attention quand il s’agit de questions graves  -:)

Merci à vous aussi, Chambaron, pour vos explications. Votre texte n’a paru qu’après mon intervention précédente pour s’intercaler.
Avant, il était invisible.