Tradycja przypisuje odnalezienie Krzyża św. Helenie, matce cesarza Konstantyna I Wielkiego, w 326 roku. W związku z tym wydarzeniem zbudowano w Jerozolimie na Golgocie dwie bazyliki: Męczenników (Martyrium) i Zmartwychwstania (Anastasis). Bazylika Męczenników nazywana była także Bazyliką Krzyża. 13 września 335 r. odbyło się uroczyste poświęcenie i przekazanie miejscowemu biskupowi obydwu bazylik. Na tę pamiątkę obchodzono co roku 13 września uroczystość Podwyższenia Krzyża Świętego. Później przeniesiono to święto na 14 września, ponieważ tego dnia wypada rocznica wystawienia relikwii Krzyża na widok publiczny, a więc pierwszej adoracji Krzyża, która miała miejsce następnego dnia po poświęceniu bazylik.

Ze świadectwa św. Cyryla Jerozolimskiego (+ 387) wiemy, że już za jego czasów czcigodną relikwię podzielono na drobne części i rozesłano je niemal po wszystkich okolicznych kościołach. Święto Podwyższenia Krzyża wprowadzono najpierw dla tych kościołów, które posiadały relikwie Krzyża, potem zaś dla całego Kościoła Powszechnego.

Od tamtej pory relikwie Krzyża były uroczyście czczone przez wiernych przybywających z całego świata chrześcijańskiego. Okres ten zakończyło zdobycie Jerozolimy 20 maja 614 roku przez króla perskiego Chosrowa II Parwiza. Persowie zburzyli świątynię a relikwie Krzyża zabrali z Jerozolimy.

W 628 roku cesarz bizantyjski Herakliusz pokonał Persów i odzyskał święte relikwie. Cesarz sam wniósł je uroczyście do Jerozolimy wchodząc do miasta przez Bramę Złotą. Jak mówi legenda, cesarz niosąc Krzyż ubrany był w drogocenne szaty i nie mógł udźwignąć Krzyża aby wejść do miasta. Dopiero kiedy za poradą biskupa Jerozolimy Zachariasza zdjął bogaty strój, idąc boso wniósł Krzyż aż do odbudowywanej po zniszczeniu Bazyliki.

Do VI w. na krzyżu nie umieszczano postaci Chrystusa. Także później nie ukazywano Jezusa umęczonego lecz chwalebnego: jako Króla z diademem zamiast cierniowej korony na głowie, albo jako Arcykapłana, albo jako Dobrego Pasterza. Od wieku XII pojawia się motyw cierpienia. Od tego czasu aż do dziś w Kościele łacińskim zwykle używany jest krzyż gotycki, pasyjny, który wskazuje na mękę i śmierć Chrystusa jako cenę zbawienia. W tradycji prawosławnej do dziś używany jest krzyż chwalebny.

Od czasów Konstantyna, kiedy to chrześcijanie uzyskali wolność wyznawania swojej wiary krzyż stał się znakiem rozpoznawczym chrześcijan. Od tego czasu jest bardzo często używany w  iturgii i uświęca całe życie chrześcijańskie: zaczyna i kończy modlitwę, dzień i każdą ważniejszą czynność, uświęca przestrzeń i jest używany przy wszelkich błogosławieństwach. Kościół w Krzyżu Jezusa widział zawsze ołtarz, na którym Syn Boży dokonał zbawienia świata. Dlatego każda jego cząstka, tak obficie zroszona Jego Najświętszą Krwią, doznawała zawsze szczególnej czci. Nie chodzi w tym wypadku o autentyczność poszczególnych relikwii, ale o fakt, że przypominają one Krzyż Chrystusa i wielkie dzieło, jakie się na nim dokonało dla dobra rodzaju ludzkiego.

Ojcowie Kościoła podkreślali, że krzyż jest symbolem, w którym streszczają się najistotniejsze prawdy wiary chrześcijańskiej. Św. Jan Damasceński pisze: "Krzyż Pana naszego Jezusa Chrystusa, a nie cokolwiek innego, zwyciężył śmierć, zgładził grzech praojca, pokonał piekło, darował nam zmartwychwstanie, udzielił siły do wzniesienia się ponad doczesność i ponad samą śmierć, zgotował powrót do dawnej szczęśliwości, otworzył bramy raju, umieścił naturę naszą po prawicy Boga, uczynił nas Jego dziećmi i dziedzicami".