Wise nasceu em Winchester, pequena cidade do estado de Indiana (EUA), em 10 de setembro de 1914. No sábado, quando fez aniversário, parecia bem, declarou seu porta-voz, Lawrence Mirisch. Wise queria ser jornalista, mas a depressão econômica mudou seus planos e ele foi parar na RKO, carregando latas de filmes. Virou montador de som (e, como tal, seu nome integra o da equipe de "O Delator", de John Ford). Passou a montador em 1939, mas só dois anos depois Orson Welles irrompeu em sua vida, com o cultuado "Cidadão Kane".
Três anos mais tarde, cooptado pelo produtor Val Lewton, o próprio Wise assinou seu primeiro longa como diretor. A "Maldição do Sangue de Pantera" (co-direção de Gunther Friesch) foi o primeiro de uma série de filmes fantásticos que realizou ao longo de sua carreira. Wise sempre acreditou no valor da ficção científica e do horror de sugestão que Lewton praticava.