二十岁时，渊明开始了他的游宦生涯，以谋生路。《饮酒》其十：“在昔曾远游，直至东海隅。道路迥且长，风波阻中途。此行谁使然？似为饥所驱。倾身营一饱，少许便有馀。恐此非名计，息驾归闲居”即是回忆他的游宦生涯。在此阶段他为生活所迫出任的低级官吏详情已不可考。在短暂的居家生活后，二十九岁时，他出任州祭酒（此官职具体负责事务尚待考），不久便不堪吏职，辞官归家。不久，州里又召他做主簿，他辞却了此事，依旧在家闲居。隆安二年（公元398年），渊明加入桓玄幕。隆安四年初（公元400年）奉使入都，五月从都还家，于规林被大风所阻，有诗《庚子岁五月从都还阻风规林》，表达了他对归家的渴望和对园林对旧居的怀念。一年后因母丧回浔阳居丧。三年丁忧期满，渊明怀着“四十无闻，斯不足畏”的观念再度出仕，出任镇军将军刘裕参军。此时他的心情是矛盾的，既想为官一展宏图，可在出仕后却仍然眷念田园，“目倦川途异，心念山泽居”（《始作镇军参军经曲阿作》）。义熙元年（公元405年）三月，渊明为建威将军刘敬宣参军，经钱溪使都，有《乙巳岁三月为建威参军使都经钱溪》诗云：“晨夕看山川，事事悉如昔”，“眷彼品物存，义风都未隔”，“园田日梦想，安得久离析”，动荡于仕与耕之间已有十余年，他已厌倦了也看透了官宦生活。

借山归隐图（佟春凤国画作品）