1924年9月第二次直奉战争爆发,张宗昌第三旅被张作霖编入镇威军第二军,9月15日张宗昌率部进攻热河,10月巧取长城冷口,先于其他奉军插入关内,入关后,张宗昌更是一路凯歌高奏,10月底奇袭滦州,截断了山海关的直军归路,随即又与冯玉祥的国民军,会师天津,直军全线崩溃。张宗昌在第二次直奉战争中,为奉系胜利立下了汗马功劳,又趁机收编直军四个旅,部队猛增至八九万人,至此,张宗昌成了北洋军阀末期举足轻重的大军阀之一。 1924年12月张作霖任命张宗昌为宣抚军第一军军长,令其攻打控制江苏的直系军阀齐燮元部,然而此时的张宗昌却犹如关羽复体,仅用一个月的时间,便攻占南京和上海,把奉系地盘扩大到安徽江苏,张宗昌之兵锋威震全国,奉系军阀势力达到全盛。1925年4月25日,在张作霖的胁迫下,北洋政府被迫公布了张宗昌为山东军务督办的任命,5月7日,张宗昌率部由徐州前往济南,当晚在珍珠泉督办公署接收山东督办大印。