常乐寺始建于北齐(550年—577年),是北齐的开国皇帝高洋所建,初称石窟寺,天统年间(565年—569年)改名智力寺,宋嘉祐年间(1056年—1063年)更名为常乐寺。寺院应与山上的石窟同期建造,据传高洋死后就葬于山上的石窟之中。常乐寺毁于1946年,原因不详。