Cette expression est tirée de la chanson de Roland (écrite au 11e siècle) où “tourner le dos” signifie “fuir”. Plus tard, quand il s’agit de faire fuir ou mettre en fuite quelqu’un, on dit qu’on lui fait tourner le dos.
Au 17e siècle, cette expression prend le sens de se diriger dans le sens opposé et finalement manifester du mépris, s’éloigner de quelqu’un, refuser de parler de quelqu’un, avoir affaire à cette personne.