褚遂良博通经史，善书法，尤工隶书。可惜了

高宗终于立武则天为后，褚遂良因忤旨被贬潭州都督。宰相韩瑗上疏为他辨白，高宗对韩瑗说：“遂良之情，朕亦知之矣。然其悖戾犯上，以此责之。”显庆二年(公元657年)，再贬桂州都督，不久又贬爱州刺史。