倉頡造字廢寢忘食一生辛苦，卻連一個妻子也沒娶上。可他的廟后殿樓中，為何又塑著一位品貌端莊的倉頡奶奶呢？

    傳說有一年的盛夏，吳村的許多姑娘在田間挖野菜。驕陽當空，他們個個熱得汗流滿面，于是就躲進廟內乘涼。其中一名姑娘名叫荷香，她望著倉頡塑像出神，想倉頡立了這么大的功勞，現在卻這樣凄涼孤單，不禁深表痛惜。此時有個姑娘提議說，用籃子往倉頡頭上套，誰套中誰為倉頡妻子。結果無一人投中，最后荷香一投，正套中倉頡脖子。大家一陣嬉笑，齊稱荷香為倉頡奶奶。

    大家歡笑一陣就回了家，事后也都忘了。誰知荷香回家后一病不起，終日昏昏沉沉，醫治無效，父母問起發病原因，荷香就把廟中戲言說了一遍。父母好言解勸，請百醫治療，但終沒治好，荷香死了。全村人就籌措糧款在大殿后蓋了座樓閣，為荷香塑了像，并敲鑼打鼓張燈結彩，為荷香與倉頡成親，又把荷香葬于廟東倉頡陵。

    荷香懷念這一方百姓，她像倉頡一樣為人們造福。凡是缺少用具的人家，只要在廟里禱告一番，把筐放到廟院當中的井里，第二天清晨提出，就會如愿以償。從井里提上來的婚喪嫁娶需用的碗、碟之類，特別精巧，令人愛不釋手。時間久了，取多還少，慢慢地倉頡奶奶就不借給他們了。