Sportivul s-a stins în locuinţa sa din Newport Beach, California, după ce în ultima vreme suferea din cauza plămânilor.
Lee a intrat pentru totdeauna în istoria sportului american nu doar prin performanţa realizată la Jocurile Olimpice din 1948, ci şi pentru lupta cu mentalităţile pe care a trebuit să o ducă. El a avut mari probleme în a-şi cumpăra o locuinţă în anii '50, fiind refuzat de mai mulţi agenţi imobiliari pentru că era asiatic.
Cazul său a ajuns până la Casa Albă, iar în SUA a izbucnit un adevărat scandal. Oamenii au ieșit în stradă, agenții imobiliari și-au cerut scuze, iar președintele Dwight David Eisenhower a intervenit și el.