Между тем корабль продолжал дрейфовать вместе со льдинами вокруг него. 27 октября 1915 года судно был сжато до предела и Шеклтон дал приказ покинуть «Эндьюранс». Из-за ограниченной вместимости саней по объему и весу, он также приказал убить четырех самых слабых ездовых собак, щенков и кота плотника Гарри Макниша.
Фотографу Херли удалось спасти с корабля свои фотопластины, однако ему пришлось оставить только 120 лучших из них, а остальные 400 — разбить. Также он уничтожил свои громоздкие камеры, сохранив только Vest Pocket Kodak и несколько рулонов пленки.
После непродолжительной попытки похода, экипаж построил лагерь на льду, продолжая извлекать запасы и спасательные шлюпки из «Эндьюранса», пока, наконец, 21 ноября корабль полностью не затонул. После неудавшегося второго похода был основан «Лагерь Терпения», в котором команда прожила более 3 месяцев.