祥云寺地形為中間高崗，四周地洼，有東西兩條小溪在此匯流。中間高崗南北橢圓，非常像一只神龜伏在地面。又加上中牟一帶皆為白沙水質，所以祥云寺的地形有很多風水術士前來觀望，一致定名為“白龜洑水地”。又因有東西小溪的緣故，大家又稱這塊地為“二龍戲珠”地，是一塊上乘的風水寶地。因為這個緣故，古時候的人們都說這寺上有神龜出現過。

    唐朝武則天時期是我國佛教的鼎盛時期，全民信仰。當時，祥云寺也是規模宏大，建筑雄偉，香火很旺，資金充足。因為龜代表祥瑞與長壽，又鑒于寺院地形酷似神龜的緣故，于是寺內方丈就雕刻了一對石龜各自背負一通石碑，記載了寺院的由來淵源及靈異記事。因此對石雕刻精美，形態神異，所以很得廣大信眾喜愛，很多人就愿意在敬佛后也給石龜上香，并且向石龜祈福。這一傳不當緊，本地竟然形成了一種風氣。凡來寺內上香者，都不忘這對石龜。說來也真夠神奇，很多人向石龜祈福求愿，竟然非常靈驗。就這樣，在廣大信眾的一致敬奉下，這對石龜越來越靈，越傳越遠。

    后來，有人發現，這對石龜活了。每天晚上兩只石龜都會向前移動一尺，到白天就又回到原位。后來寺院的一個小沙彌夜晚起來小解，因為好奇，就到石龜邊去看究竟。結果讓他大吃一驚，兩只石龜不但向前移動，而且頭還會轉動。小沙彌于是趕緊去告訴了方丈和尚，寺院的方丈和尚聽說這事后起初并不相信，聽完全相信。他告訴小沙彌不要亂講，小沙彌點頭應允，回房休息去了。

    小沙彌走后，直到天亮。方丈和尚都沒睡著覺，他想：“這對石龜因受大家供奉，因眾生共業所感，看來真要成神靈了。如果這樣發展下去，說不定會鬧出什么事兒來。不行，我必須得化解這件事。”

    到了第二天子夜，方丈叫了兩個徒弟，各人發了2根紅繩。他告訴徒弟，等石龜移動后，你們兩個把紅繩系到石龜脖子上，然后合掌念咒直到天亮。于是兩個徒弟就去到了石龜的大殿前，正好看到石龜在慢慢移動。于是他們二話沒說就把紅繩系列了石龜的脖子上，盤坐地上開始念咒。門右邊的一個小徒弟念得很好，一心不亂，門左邊的小徒弟就不一樣了，沒念幾遍就打哈欠，一會兒竟然睡著了。天亮后，方丈和尚到大殿察看，看到石龜旁在念咒，而左邊的小徒弟則在勾頭睡覺，而左邊的石龜卻不見了。方丈于是就罰左邊的小徒弟面壁三天。

    從此，剩下的這只石龜也不靈了，而且再沒有移動過，敬奉石龜的人也漸漸地少了。