晋元帝司马睿渡江初建东晋王朝，定都建康（今南京）。欲在正南门宣阳门（今中华门）外监理双阙，以示皇权至尊。丞相王导深知东晋草创，不宜大兴土木，于是请晋元帝乘兴出宣阳门，南眺牛首，两峰对峙，十分壮观，趁机劝喻元帝：“此天阙也，岂烦改作！”元帝欣然打消兴建双阙的念头，称牛首山为天阙。

南朝刘宋大明三年，始建幽栖寺，是“南朝四百八十寺”中的早期著名寺庙。

南朝刘宋孝武帝大明5年，牛首山西峰南坡山洞里，曾住过高僧辟支和尚，他在此洞中“立地成佛，上天为仙”，因此住过的山洞称辟支佛洞，又称佛窟洞，牛首山一度亦称仙窟山。

司空徐度于梁天监二年初佛窟寺（今宏觉寺），位于牛首山南。

唐代，牛首山“与西北之清凉、西南之峨眉并为圣道场地”，是最负盛名的三大佛教名山之一。

公元643年，唐贞观十七年，被誉为“东夏之达摩”的法融禅师受禅宗四祖道信的点拨，在幽栖寺北岩创立茅茨禅室，授徒传法，创立牛头禅宗。牛头禅是印度禅真正中国化的开始，牛首山也成为中国禅宗的重要起源地之一。

唐大历九年，又添建宏觉寺塔，民间称为唐塔。相传是唐代宗李豫感梦“修峰顶七级浮屠”而建。

安葬南唐先主李昪及其皇后宋氏的“钦陵”和中主李璟及其皇后钟氏的“顺陵”并称南唐二陵，是五代十国时期规模最大的帝王陵墓，位于牛首山南麓，现为全国重点文物保护单位。

北宋皇祐二年初建辟支塔，建于牛首山西峰原佛窟寺处，因辟支和尚而得名。

明宣德八年四月，著名航海家郑和在印度西海岸古里去世，赐葬南京牛首山。

明正统年间佛窟寺更名为弘觉寺，属金陵次大刹，归大报恩寺所统，为明代南京的八大国寺之一。

清时，弘觉寺因避乾隆名讳（弘历），改名宏觉寺,民国时期宏觉寺又更名为普觉寺。

高僧宏成法师决心重建宏觉寺，因感原址多已破坏，将新寺地址选在祖堂山原幽栖寺遗址旁，寺名仍为宏觉寺。

装有佛顶骨舍利的铁函，在南京大报恩寺遗址长干寺地宫出土。2010年6月12日上午9时15分，在南京栖霞寺，密藏千年的“佛顶真骨”重现世间。

经宗教和文化行政主管部门以及佛教和文物界研究同意，确定在牛首山遗址公园里建地宫安奉佛顶骨舍利的意向。

江宁区政府完成了《天阙藏地宫，双塔出五禅——牛首胜境》创意策划概念方案。到此，确定了佛顶骨舍利安奉的地点与方式。

释迦牟尼佛顶骨舍利供奉大典在南京牛首山隆重举行，牛首山文化旅游区同期落成开园。