励实学堂的发展并不顺遂,它曾经遭遇过一场由谣言引发的教堂案。光绪二十年(1895),有两个游医桓阿大、蒋阿三为了牟利,将一具死童的眼睛挖去,埋在李德理的宅内,然后四处散布“洋人挖小孩眼睛制药”的谣言。这一谣言激起了民众的愤怒,他们冲进教堂,将教堂内的一切砸烂抢光,还挖出了死童的尸体。幸亏当时的知县刘有光及时出面,平息了事端,拘捕了谣言的制造者和煽动者。这件事情给教会和励实学堂带来了很大的打击,也让江阴人对教会更加敌视。