Так иронически говорят о тюрьмах или колониях.
Исторически имелись ввиду места удаленные от центра территории; места ссылки.
Выражение из «Уложения о наказаниях» царской России, по которому ссылка делилась на две степени: в отдаленные и не столь отдаленные места Сибири. Этот оборот прочно вошел в язык писателей второй половины XIX века для обозначения ссылки.