张衡家族世代为当地的大姓。他的祖父张堪，自小志高力行，被人称为圣童，曾把家传余财数百万让给他的侄子。光武帝刘秀登基后张堪被任命为蜀郡太守，随大司马吴汉讨伐割据益州的公孙述，立有大功。其后又领兵抗击匈奴有功，被拜为渔阳太守。曾以数千骑兵击破匈奴来犯的一万骑兵。此后在他的任期内匈奴再也没有敢来侵扰。他又教人民耕种，开稻田八千顷，人民由此致富。所以，有民谣歌颂他说：“张君为政，乐不可支。”张堪为官清廉。伐蜀时他是首先攻入成都的，但他对公孙述留下的堆积如山的珍宝毫无所取。蜀郡号称天府，但张堪在奉调离蜀郡太守任时乘的是一辆破车，携带的只有一卷布被囊。

张衡像他的祖父一样，自小刻苦向学，少年时便会做文章。16岁以后曾离开家乡到外地游学。他先到了当时的学术文化中心三辅（今陕西西安一带）地区。这一地区壮丽的山河和宏伟的秦汉古都遗址给他提供了丰富的文学创作素材。以后又到了东汉都城洛阳。在那儿，他进过当时的最高学府太学，结识了后来著名的学者崔瑗，与他结为挚友。张衡兴趣广泛，自学《五经》，贯通了六艺的道理，而且还喜欢研究算学、天文、地理和机械制造等。但在青年时期，他的志趣大半还在诗歌、辞赋、散文上，尽管他才高于世，却没有骄傲之情。平常从容淡泊，不喜欢与俗人相交。