衡姓的来历主要有三个源头：

出自伊姓，以官名为氏。商汤时期有贤臣伊尹，因其在灭夏过程中的巨大功劳，被商汤封为尹（宰相），并赐予尊号“阿衡”（“阿”意为“倚”，“衡”意为“维持”，寓意为国家的倚靠）。伊尹的后代子孙因此以伊尹尊号中的“衡”字为姓，称为衡姓123。

出自姬姓，是周公旦的后代，以祖字为氏。周公旦的长子伯禽被封于鲁地，建立了鲁国。伯禽的后代中有公子衡，其子孙以祖上的名字“衡”为姓，从而形成了衡姓234。

出自改姓，以地名为氏。三国时期，曹操在官渡之战中击败了袁绍。袁绍的几个儿子在内部争斗中自相残杀。袁姓的部分族人逃至湖南衡山隐居避难，他们以居住地“衡山”的名称中的“衡”字为姓，改姓为衡