Cette expression signifie “inconsidérément”, “sans discernement”, “n’importe comment”.
L’expression serait née au 14e siècle sous la forme “à tort”. Au 16e siècle, elle évolue sous la forme “à tors et à travers” qui signifie que l’on fait des détours et que l’on prend des chemins de traverse. Bref, que l’on part dans tous les sens.
Cette métaphore évoque une activité sans unité et complètement décousue.