Родился 1 мая (по другим сведениям - 2 мая или 22 марта) 1924 года в селе Овсянка Енисейской губернии (ныне Красноярского края) в семье Петра Павловича Астафьева (1901-1979) и Лидии Ильиничны Потылицыной (1902-1931). Через несколько лет после рождения сына Пётр Астафьев был осуждён за вредительство. 12 июня 1931 года, Лидия Ильинична упала в воду и утонула. Виктору тогда было семь лет. Отец Виктора вышел из тюрьмы и ещё раз женился. Когда отец попал в больницу, а новая семья отвернулась от Виктора, он несколько месяцев жил в заброшенном здании, и позже был направлен в детский дом.
В 1941 году Виктор окончил шесть классов и устроился на кирпичный завод. Заработав денег на пароходный билет, переехал в Красноярск. Окончив школу ФЗО и получив специальность составителя поездов, работал на станции Базаиха сцепщиком и составителем, дежурным по станции.
В 1942 году ушёл добровольцем на фронт. Военную подготовку получил в учебном автомобильном подразделении в Новосибирске. Весной 1943 года был направлен в действующую армию. Был шофёром, связистом 92-й тяжёлой гаубичной артиллерийской бригады 17-й артиллерийской дивизии прорыва Резерва Главного Командования (РГК), в июле 1943 года - участник прорыва северного фланга на Курской дуге, после тяжёлого ранения (контузия) в апреле 1945 года служил во внутренних войсках на Западной Украине во Львове. 14 марта 1945 года из эвакогоспиталя (ЭГ) № 5438 прибыл в 15 запасную стрелковую дивизию, поступил в Полтавскую высшую школу штурманов авиации ВВС.
Был награждён орденом Красной звезды (21.04.1944), медалями «За отвагу» (25.11.1943), «За освобождение Варшавы» и «За победу над Германией».
«В бою 20.10.43 г. красноармеец Астафьев В. П. четыре раза исправлял телефонную связь с передовым НП. При выполнении задачи, от близкого разрыва бомбы был засыпан землёй. Горя ненавистью к врагу, тов. Астафьев продолжал выполнять задачу и под артиллерийско-миномётным огнём, собрав обрывки кабеля, и вновь восстановил телефонную связь, обеспечив бесперебойную связь с пехотой и её поддержку артиллерийским огнём». - ИЗ НАГРАДНОГО ЛИСТА НА МЕДАЛЬ «ЗА ОТВАГУ»
Демобилизовался в 1945 году и уехал в город Чусовой Молотовской области (ныне - Пермский край). Там работал слесарем, подсобным рабочим, учителем, дежурным по вокзалу, кладовщиком.