Старэйшыя сёстры Элі Візеля Хільда і Беатрыс перажылі інтэрнаванне ў канцэнтрацыйным лагеры Асвенцым, сустрэліся з Візелем пасля вызвалення лагераў і ў выніку эмігравалі ў Паўночную Амерыку. Малодшая сястра Візеля Цыпора памерла ў Асвенцыме.
6 мая 1944 года, калі Візэлю было 15 гадоў, нацысты дэпартавалі ўсю габрэйскую абшчыну венгерскага Сігета ў канцлагер Аўшвіц-Біркенаў. Візель, яго бацькі і тры сястры былі арыштаваныя. Разлучаны з маці і сёстрамі Візель суправаджаў бацьку ў працоўны лагер Буна. Шмат месяцаў яны працавалі ў нечалавечых умовах, пераводзячы з лагера ў лагер. У пачатку 1945 года перад самым вызваленнем лагера амерыканцамі ў Бухенвальдзе памёр бацька Візеля. Візель шукаў імёны сваіх сясцёр у спісе тых, хто выжыў у Бухенвальдзе, але не мог іх знайсці. Пасля пераезду ў дзіцячы дом у Парыжы ён даведаўся, што яго сястра Хільда жывая і шукае яго. Калі ён уз'яднаўся з ёй, яна сказала яму, што заручылася і пераехала ў Францыю, таму што думала, што ён памёр. Амаль праз год ён уз'яднаўся з Беатрыс у Антверпене, Бельгія.
Маці Візеля загінула разам з яго малодшай сястрой у Асвенцыме. У інтэрв'ю Візель сказаў, што ў яго была фатаграфія Цыпоры і што ён плакаў адзіны раз, калі казаў пра яе. Ёй было ўсяго 7 гадоў, калі яе павезлі на смерць.
