傳說，夜裡，小堂裡供奉的聖雅各伯像會步出教堂，巡視古堡及保護住在古堡的人，所以，每天早上聖雅各伯像的鞋頭都會沾有泥巴，故當時駐守的軍隊會特別指派一名士兵每日幫雕像抹靴。曾經有一個懶惰的士兵因為忘了這差事，夜裡被聖雅各伯以佩劍敲頭示警！每年七月二十五日，小教堂仍會為這個傳說舉行慶典儀式。

聖雅各伯的小教堂曾在1978年復修。已為澳門地標的古堡及小教堂本身是一件精美的藝術品，同時也印證著歷史光輝的另一面。