布朗带着他二十来人的队伍,趁着夜色,通过波托马克河(Potomac River)上的桥梁后,来到了联邦的军火库。他们未开一枪拿下了军火库和一座兵工厂,并扣押了许多人质,做为后面为使他们获得自由而进行的交换筹码,这其中包括第一任总统乔治华盛顿的曾侄孙路易斯·华盛顿(Lewis William Washington)。布朗的儿子沃森和另一名男子向一名拒绝停车的铁路警卫开了第一枪,警卫受伤。一个名叫海沃德·谢泼德(Hayward Shepherd)的已获得自由并为火车站工作的黑人在枪战中中枪身亡,他成为此次袭击第一位被打死的人。天亮后不久,从各地增援的民兵到达哈泊斯费里,包围了布朗。布朗举出白旗,想用人质做交换,但对方没有理睬,继续开火,布朗的儿子被打死,激战进一步升级。