Cette expression signifie que l’on doit s’en aller, contraint et forcé.
Elle apparaît au 18e siècle mais fait peut-être référence au siège d’une ville fortifiée qui n’aurait eu qu’une seule porte. Pour la protéger, les habitants auraient amassé des blocs de pierre qui lorsque les assaillants essayèrent de forcer la porte leur tombèrent dessus, obligeant ces derniers à fuir…. et donc à “prendre la porte”.