据说这座王爷庙始建于明代,起初是一座道教寺庙,叫做座紫云宫。清乾隆年间改建为佛教寺庙王爷庙,才有了如今的规模。民间传说扇沱地形像一头犀牛,为了镇住犀牛,人们在它的头部修建了紫云宫,以保行船顺利和江面平安。紫云宫建成后,扇沱场逐渐兴盛,繁华持续数百年之久。