据有只神羊,从金沙岭上跑来此地,因环境不适,回头走了,故名。又“回头岭”是王世杰的高曾祖父王恭元所取。王恭元在九江经商途中,偶遇一个卜卦先生,约卜卦先生饮酒,酒至半酣,先生吟诵:“雨山一条龙,滴滴溚溚到金城,雄鸡开口天下唱,白马回头岭。”话音刚落,便鼾声如雷,第二天不知卜卦先生去向何方,后来王恭元到雨山,金城山仔细观看,途经白霓桥,借宿一位看山老人,入睡时便见一白马飞奔而至,王恭元被惊醒,再入睡时又见白马飞奔而来,饶山坡转圈圈。第二天他回到赤壁神山,把卜卦先生的话和梦见白马的经过向父亲说了一遍,第三天王恭元雇了四名轿夫把父亲抬到梦见白马的山坡,仔细看了这里的山和水,觉得实在是一个好地方,回家途中老父亲让儿子扶着一个小山坡再回头看看,见此,王恭元恍然大悟惊呼“父亲,这就是回头岭”。