Jan de Yepes był trzecim z kolei dzieckiem Gonzaleza de Yepes i Katarzyny Alvarez. Przyszedł na świat w 1542 roku w Fontiveros, w pobliżu miasta Avila (Hiszpania). Miał dwóch braci: Ludwika i Franciszka, ale pierwszy z nich zmarł niedługo po urodzeniu. Warunki w domu były bardzo ciężkie, gdyż rodzina wyrzekła się Gonzaleza za to, że będąc szlachcicem śmiał wziąć za żonę dziewczynę z ludu. Jeszcze cięższe warunki nastały, kiedy zmarł ojciec. Jan miał wówczas dwa i pół roku. Matka przeniosła się z dziećmi do Arevalo (1548), a potem do Medina del Campo (1551). Jan został oddany do przytułku. Potem pracował w szpitalu, by następnie próbować różnych zawodów u kolejnych majstrów: w tkactwie, krawiectwie, snycerstwie, jako malarz, jako zakrystian, wreszcie jako pielęgniarz. Za zebrane z trudem pieniądze uczył się w kolegium jezuickim w Medinie (1559-1563), jednocześnie pracując na swoje utrzymanie. W roku 1563, mając 21 lat, wstąpił do karmelitów i wtedy obrał sobie imię Jan od św. Macieja. W zakonie napotkał na znaczne rozluźnienie. Dlatego gdy składał śluby, czynił to z myślą o profesji według dawnej obserwancji. Po ukończeniu studiów filozoficznych i teologicznych w Salamance, w 25. roku życia otrzymał święcenia kapłańskie (1567).
W dniu swojej Mszy prymicyjnej spotkał św. Teresę z Avila, która podjęła się dzieła reformy żeńskiej gałęzi Karmelu. Te dwie bratnie dusze zrozumiały się i postanowiły wytężyć wszystkie siły dla reformy obu rodzin karmelitańskich. W następnym roku św. Teresa namówiła pewnego szlachcica, żeby ofiarował dom w Duruelo na założenie pierwszej fundacji reformy. Tam przeniósł się Jan wraz z dwoma przyjaciółmi, których pozyskał dla reformy. 28 listopada 1568 r. złożyli ślub zachowania pierwotnej reguły. Jan przybrał sobie wówczas imię Jana od Krzyża. Postanowił pozostać wierny reformie, choćby „miał to przypłacić życiem”. Wkrótce okazało się, że będzie miał okazję dać dowód tej wierności. W latach 1569-1571 został wybrany na mistrza nowicjatu. W roku 1570 musiał jednak przenieść klasztor do Pastrany. W roku 1571 został rektorem pierwszego klasztoru karmelitów w Alcali, który przyjął reformę. Równocześnie pełnił obowiązki spowiednika karmelitanek zreformowanych w Avila (1572-1577).
W postępowaniu Jana przełożeni dopatrzyli się niesubordynacji. Obawiali się rozkładu zakonu. Posypały się napomnienia i nakazy. Gdy Jan okazywał się na nie głuchy, został aresztowany w Avila w nocy z dnia 2 na 3 grudnia 1577 roku i siłą zabrany do Toledo. Wtrącony do więzienia klasztornego, był nie tylko pozbawiony wolności, ale skazany na głód i częstą chłostę. Nie załamał się jednak. Jak sam pisał, w „paszczy wieloryba” przebył 9 miesięcy. Pan Bóg w tych miesiącach udręki zalewał go potokami pociech mistycznych. „Noce ciemne” długiego więzienia wykorzystał dla doświadczenia nie mniej bolesnego stanu, kiedy Pan Bóg pozornie opuszcza swoich wybranych, by ich zupełnie oczyścić i ogołocić z niepożądanych pragnień, uczuć i przywiązań.
15 sierpnia 1578 roku udało mu się uciec z zakonnego więzienia w Toledo po długich i żmudnych do tego przygotowaniach. Bracia z własnego klasztoru przyjęli go z wielką radością. 9 października tego roku wziął udział w kapitule, na której został wybrany przełożonym konwentu w Jaen, w Andaluzji. W roku następnym (1579) otworzył nowy dom reformy, w Baeza, gdzie pozostał jako przełożony do 1582 r. W roku 1581 z domów zreformowanych karmelitów utworzona została osobna prowincja. Zezwolił na to papież Grzegorz XIII specjalnym breve z 22 lipca 1580 roku.
Cierpienia Jana podjęte dla reformy zaczęły owocować. Gorliwi zakonnicy widzieli w nim męczennika sprawy i zaczęli przekonywać się do reformy. Mnożyły się także nowe fundacje dzięki hojności panów duchownych i świeckich. W roku 1582 Jan został mianowany przełożonym domu w Granadzie, a trzy lata później kapituła wybrała go wikariuszem prowincji Andaluzja. W 1587 r. zrzekł się tego urzędu i został ponownie mianowany przełożonym konwentu w Granadzie.
Kiedy liczba zreformowanych klasztorów zaczęła rosnąć i powstawały nowe prowincje, papież Sykstus V zezwolił na wybór osobnego wikariusza generalnego dla prowincji zreformowanych, ale generał miał być jeszcze wspólny dla obu rodzin karmelu. Papież miał bowiem nadzieję, że niebawem cały zakon przyjmie reformę. W roku 1588 odbyła się pierwsza kapituła generalna prowincji zreformowanych.
Jednak stronnictwo złagodzonej reguły wzięło górę. Jan został usunięty ze wszystkich urzędów i jako zwykły zakonnik zakończył niebawem życie w klasztorze w Ubedzie 14 grudnia 1591 roku w wieku zaledwie 49 lat. Umierał zupełnie osamotniony, bowiem św. Teresa z Avila dawno już nie żyła – przeszła do nieba 4 października 1582 roku.
Najbardziej sławny stał się Jan od Krzyża dzięki swoim pismom. Było ich znacznie więcej, ale spalono je zaraz po śmierci w obawie, by nie dostały się do rąk wrogów zakonu jako materiał przeciwko złagodzonej regule. Pozostały 22 dzieła, w tym kilkanaście utworów poetyckich, które dla mistyki chrześcijańskiej mają wprost bezcenną wartość. Najważniejsze są dwa z nich: Noc ciemna i Pieśń duchowa. Są one perłą w światowej literaturze mistyki. Oba dzieła początek swój wywodzą z więzienia w Toledo. One też przysporzyły Janowi tytuł doktora Kościoła; dzięki nim zwany jest on także doktorem mistycznym. Dzisiaj jego dzieła są przełożone na wszystkie znane języki świata i należą do klasyki dzieł mistycznych.
Nie mniejszym powodzeniem cieszą się dotąd Droga na Górę Karmel i Żywy płomień. Nikt dotąd nie poddał stanów mistyki tak subtelnej analizie, jak właśnie Jan od Krzyża. Św. Teresa z Avila zostawiła wprawdzie także poważne dzieła z zakresu mistyki chrześcijańskiej, ale podeszła ona do problemu raczej od strony praktycznej, podczas gdy Jan wskazał na podstawy teologiczne mistyki. Miał także wybitne zdolności plastyczne. Umiał rysunkiem, poglądowo, przedstawić nawet bardzo skomplikowane drogi mistyki (np. szkic Góra doskonałości). Chyba to jedyny wypadek w dziejach mistyki katolickiej. Najsłynniejszym rysunkiem, zachowanym do dziś (i przechowywanym jako relikwia) jest szkic Ukrzyżowanego Chrystusa, utrwalona na kartce wizja z objawienia w Avila (1572-1577). Rysunek ten stał się inspiracją dla współczesnych twórców (m.in. Salvadore Dali namalował obraz zatytułowany Chrystus św. Jana od Krzyża).
Relikwie Doktora Mistycznego znajdują się w kościele karmelitów w Segovii. Beatyfikowany został przez papieża Klemensa X w 1675 r., a kanonizowany w 1726 r. przez Benedykta XIII. Pius XI ogłosił go doktorem Kościoła w 1926 r. Jest patronem karmelitów bosych.