Shawn nasceu em um projeto habitacional de Bedford-Stuyvesant, bairro central do Brooklyn, Nova Iorque. Ele foi abandonado pelo seu pai e, aos doze anos, atirou no ombro do seu irmão para pegar as joias dele.] Jay-Z estudou na Eli Whitney High School no Brooklyn, juntamente com o também rapper AZ, até ela ser fechada. Após, ingressou na George Westinghouse Career and Technical Education High School no Downtown Brooklyn, onde também estavam The Notorious B.I.G. e Busta Rhymes, e na Trenton Central High School, mas não se formou.Em suas músicas, ele refere que na adolescência se envolveu com a venda de crack.
De acordo com a sua mãe, Gloria Carter, Jay-Z acordava seus irmãos à noite com barulhos de tambores e instrumentos de cozinha. Eventualmente, ela lhe comprou um boombox para seu aniversário, o que provocou seu interesse na música. Ele começou fazendo freestyles, escrevendo canções, seguindo as músicas de artistas populares da época. Em sua vizinhança, Shawn era conhecido como "Jazzy", um apelido que acabou evoluindo e tornando-se "Jay-Z". O nome artístico também é uma homenagem ao seu mentor musical, Jaz-O, bem como para as linhas de trem J/Z da Avenida Marcy no Brooklyn.
Jay-Z participou de diversas gravações junto com Jaz-O no final da década de 1980 e início da década de 1990, incluindo "The Originators" e "Hawaiian Sophie".Ele também ganhou diversas batalhas de rap com LL Cool J neste período para disputar o contrato com uma gravadora.Jay-Z se tornou conhecido por um grande público pela sua participação especial em "Show and Prove", canção de Big Daddy Kane. Kane se referiu neste período a Jay-Z como um "hype man",conforme sua afirmação: "As suas aparições basicamente são no palco. Se algum dia eu sair do palco para ir trocar de roupas, gostaria de trazer Jay-Z e Positive K, e deixá-los fazendo um freestyle até a hora em que eu voltar.Fez uma participação na popular canção "Da Graveyard" de Big L, e gravou em 1994 seu primeiro single, "I Can't Get With That", o qual foi acompanhado de um videoclipe..
