澳总督府于1899年开办胶州图书馆,胶州图书馆是中国第一个图书馆。 1914年,日本帝国主义借第一次世界大战之机强占青岛,胶州图书馆停办。为“誓死挣回青岛”,1919年爆发了“五四”爱国运动。 1922年12月10日,中国政府收回青岛,北洋政府建胶澳商埠,由时任山东省长熊炳琦兼任胶澳督办,1923年由高恩洪(定庵)接任胶澳督办,公布《胶澳商埠公立通俗图书馆募集图书公启》,筹建图书馆。 1924年8月,胶澳商埠公立通俗图书馆开馆,地址在莒县路2号,创办经费5580元,有藏书室2间,阅览室l间,管理员2人,杂役1人。 1925年,下设讲演所。 1929年4月,南京国民政府接管胶澳商埠,胶澳通俗图书馆停办。 1956年,建立胶州市图书馆(原胶县图书馆)。 1987年4月1日,撤县设市,改称胶州市图书馆。 1994年迁入位于胶州市湖州路222号。 2016年迁入胶州市新城区青岛路文化中心。