南洋公学肄业。中国金石学家、考古学家、书法篆刻家、西泠印社第二任社长。1924年11月,受聘于清室善后委员会参加清宫物品点查工作。
1925年10月故宫博物院成立后,曾兼任临时理事会理事、古物馆副馆长。1929年后,任故宫博物院理事会理事兼古物馆副馆长。
1933年易培基院长被迫辞职后,马衡先后任代理院长和院长职务。上任伊始,他立即组织开展对故宫博物院留北平文物的清点及南迁运沪文物的点收工作。七·七事变后,马衡又组织了故宫博物院“文物西迁”。抗战胜利后,主持故宫博物院文物东归南京工作。
1948年,国民党政府决定将故宫博物院南京分院与北平故宫本院的文物运往台湾。时在北平本院的马衡对装箱工作以“不要慌,不要求快”为由拖延时间,最终,北平本院的文物一箱也没有运走。北平解放后,继续留任故宫博物院院长,1950年主持了留南京分院文物的北运工作。1952年,调任北京文物整理委员会主任委员。同年将自己收藏的大量甲骨、碑帖等文物捐献给故宫博物院。
1955年3月在北京病逝,终年74岁。其家属又遵嘱将家藏金石拓本、古籍图书悉数捐给故宫博物院。