张衡擅长机械，特别用心于天文、阴阳、历算。平常喜爱扬雄的《太玄经》，对崔瑗说：“我看《太玄》，才知道子云（扬雄字）妙极道数，可与《五经》相比，不仅仅是传记一类，使人论辩阴阳之事，汉朝得天下二百年来的书啊。再二百年，《太玄经》就会衰微吗？因为作者的命运必显一世，这是当然之符验。汉朝四百年之际，《玄》学还要兴起来的呢。”汉安帝早就听说张衡善术学，公元111年（永初五年），张衡被朝廷公车特征进京，被拜为郎中，再升任太史令。于是研究阴阳，精通天文历法，制作浑天仪，著有《灵宪》、《算罔论》，写得较为详细明白。虽然在汉顺帝即位初年再调动它职，但后来又任太史令，张衡任此职前后达14年之久。他许多重大的科学研究工作都是在这一阶段里完成的。

张衡不慕当世的功名富贵，担任官职，往往多年都不得迁升。自从离开史官的职务五年后，又回到原职。于是设客问体，作《应问》来表明自己的心迹。当时，政事渐衰，宦官干政。张衡于是上疏陈事，劝谏顺帝。