马耀南1902年7月16日出生于山东省长山县北旺庄（现淄博市周村区北郊镇北旺村）。1920年，马耀南考入济南省立一中，在校期间参加了王尽美、邓恩铭组织的“马克思学说研究会”，接受共产主义启蒙教育。1933年，马耀南回到长山县，担任长山中学校长。

　　为了组织清河地区的抗日武装斗争，1937年9月至11月，中共山东省委先后派地下党员林一山、姚仲明、廖容标、赵明新来到长山中学，与马耀南筹备武装起义。在马耀南的支持下，他们在长山中学举办游击干部训练班，成立抗日后援会，积极宣传和组织群众开展抗日救国运动。

　　1937年12月24日，日军飞机轰炸长山县城，群众多有死伤。面对危急形势，马耀南带上兄弟筹措的几百元钱和三支手枪，与姚仲明、廖容标、赵明新等人发动黑铁山抗日武装起义，成立山东人民抗日救国军第五军，由马耀南任行动委员会主任。第五军在中国共产党的领导下，攻长山、打周村、炸火车、袭汽艇，神出鬼没地打击敌人，影响力日益扩大，张店、桓台、淄川、益都等地的抗日武装纷纷前来投奔。

　　1938年6月，山东境内共产党领导的抗日武装统一使用八路军番号，第五军改编为八路军山东人民抗日游击第三支队（后改编为山东纵队第三支队），马耀南任司令员。同年10月，马耀南加入了中国共产党，实现了入党的夙愿。