大冶县各级农民协会相继建立起来之后，1927年3月，黄石港地委决定夺取土豪劣绅的枪支武装农民，建立农民自卫军，镇压反革命势力的反抗，巩固革命胜利果实。于是，县农会组织会员，在县警备队的配合下，开展了一个没收土豪劣绅枪支的运动，仅在殷祖和刘仁八地区就搜出步枪十几支，短枪3支。国民党右派县长曾继和企图吞并这批武器。县农会及时开展了同曾继和的斗争，迫使他将这些收缴来的枪支交还了县农会。县农会用这些枪支武装了大冶县农民自卫军。很快，大冶县农民自卫军发展到200多人，100多支枪。同时，各区、乡农会也用大刀、长矛、土枪、鸟铳等武装农民自卫军，人数近万。农民自卫军建立后，总工会根据地委的指示，派出优秀的工人纠察队员到各级农民自卫军中担任指导员，并负责组织农民自卫军进行军事训练，传授射击，投弹和刺杀技术，地委还决定由李襄群担任县农民自卫军的政治教官。

农民自卫军建立后，与工人武装纠察队相互支援，并肩战斗，使大冶地区武装斗争烈火普遍地燃烧起来。