牛首山罗汉泉位于东峰明代摩崖石刻遗址前数米处，泉水自石坎中涌出，纤滛缕浸，色味俱绝。摩崖石刻壁上原刻有梵文和“地涌泉”三个字，上有“元贞三年(1297年)款”，如今已经年久剥落。在东壁的镌刻字中有明朝景泰年间题感应泉诗一首，用楷书镌刻，字迹清秀，诗文是：牛首重兴古佛场，给孤有感应非常；天开太朴琼浆美，银汉瑶池玉液香。牛首山的罗汉泉在元代时称作“地涌泉”，明朝称作“感应泉”。“罗汉泉”的称谓可能更早，因为石壁上的题刻、地契等早在元朝之前就已存在，有的在明朝造像时被凿去。石佛又称“罗汉”，故有“罗汉泉”之称。

   在罗汉泉附近的石壁下，还有“锡杖泉和太虚泉”，大不盈尺，都位于兜率岩下，泉水顺着石壁汩汩流下，水质绝佳，饮之沁人心脾，额书“最佳泉”三字。盛时泰撰写的《牛首山志》中记载了“兜率岩悬三界雨，虎爬泉泻一天秋”，“虎井泠泠珠液在，龟池寂寂绀云浮”的诗句。

   牛首山的“罗汉泉”早在五、六十年代还是采矿工人们的饮料，水质甘冽没有异味。可是到了八十年代铁矿下马后，用来蓄水的水泥池被砸毁，并用石块将其填塞，直至后来牛首山受到保护时，才重新清疏了泉眼。在罗汉泉不远处，还有一处玉梅花庵遗址，是当年胡小石为其老师李瑞清先生的守墓之所。李瑞清是我国近代著名教育家、书法家，1920年李瑞清病逝后，遵其“归葬金陵”的遗言，弟子胡小石等将其遗体安葬于牛首山东麓，墓旁植梅300株，如今已成为牛首山一处独特的风光——雪梅岭。