奶奶泉的得名来源于奶奶庙，而奶奶庙相传是为纪念“春秋五霸”之一楚庄王的一位皇后所建。楚庄王征服中原时，曾娶一位美貌善良的姑娘为妻，并立为皇后。楚国多为潮湿的气候，使皇后全身长满疥疮，腥臭难闻，因而失去了楚庄王的宠爱，被赶出了皇宫。皇后出宫后一路乞讨到中原故乡，在郑州西南郊一条深沟（即现在樱桃沟）里的土垌安顿下来，以吃野果饮泉水为生。后来她身上的疥疮慢慢有了好转，不仅痊愈，而且变得皮肤光洁，面色红润。后来传到楚庄王那里，楚庄王派人接她回宫，但她决意不回楚地，要在这里颐养天年。皇后去世后，皇后的遗体埋葬在庙内的供桌下，人们把她住过的垌起名为玉霞神垌，还在垌前为她修建了庙宇，在庙内为她塑了像，并尊称她为“奶奶”，因此这座庙被称为奶奶庙。自奶奶庙建成以来，每年正月初一和十六，附近方圆百里的群众便会纷纷前来上香祭拜，并“求子、求福、求平安”，还有“生是十世福，送子胜观音”、“奶奶赐福，全家幸福”等美誉传诵。

奶奶庙前有一泉眼，据传，皇后就是天天喝这里的泉水，身上的疥疮才会痊愈，并且变得皮肤光洁滑嫩。因此，许多老百姓在奶奶庙祭拜完之后，总会带上一点泉水回去。并传有 “提一还三”的说法：即提走一桶水，需要先还三桶水。至此，奶奶泉悠久的历史和传说便传承了下来，吸引四方的信众和游人。