公元133年（阳嘉二年），张衡升任侍中，顺帝任用他在自己身边对国家的政事提出意见。顺帝曾询问张衡天下所痛恨的人。宦官们害怕他说自己的坏话，都用眼睛瞪着他，张衡便用一些不易捉摸的话回答后出来了。但宦官还是担心张衡以后会成为他们的祸害，于是群起毁谤张衡。张衡常想着如何立身行事。认为吉凶祸福，幽暗深微，不易明白，于是作《思玄赋》，以表达和寄托自己的情志。
公元136年（永和元年），张衡被外调任河间王刘政的国相。刘政骄奢淫逸，不遵法纪；又有不少豪强之徒，纠集一起捣乱。张衡到任后，严整法纪，打击豪强，暗中探得奸党名姓，一时收捕，上下肃然，他为政以清廉著称。任职三年后，张衡上书请求辞职归家，被征召拜为尚书。