1901年11月8日生于山西五台永安村。

1917年因贫困失学，当过杂货店学徒。

1919年春考入山西国民师范速成班。

1921年毕业后曾在阳曲县和五台县河边村任小学教员，均因向学生宣传爱国主义、反封建思想，被校方辞退。9月被编入孙中山卫队前往韶关参加北伐誓师。

1924年4月考入黄埔军校第一期。毕业后留校任排长。

1925年春，参加讨伐军阀陈炯明的第一次东征。后到国民军第二军第6混成旅任教官、参谋、团副等职。

1926年11月到武汉后，任南湖学兵团指导员。

1927年3月，加入中国共产党。4月任武汉中央军事政治学校队长。曾率学生队参加攻打叛军夏斗寅部，后被派往张发奎部任司令部参谋。

1927年后，历任工人赤卫队第6联队队长，中国工农革命军第4师第10团党代表，4师参谋长、师长等职。

1929年6月，被中共中央军事委员会派往鄂东北，先后任中国工农红军第31师副师长，中共鄂豫边特委委员，鄂豫边革命委员会军事委员会主席。

1930年春，任中国工农红军第一军副军长兼第1师师长。

1931年初，第一军与第十五军合编为中国工农红军第四军，任军参谋长。协助军长旷继勋等指挥部队连续挫败国民党军对鄂豫皖苏区第一、第二次“围剿”。7月，任第四军军长。11月，当选为中华苏维埃共和国中央革命军事委员会委员，任红四方面军总指挥兼第四军军长。组织指挥了一系列战役，粉碎了国民党军对鄂豫皖苏区的第三次“围剿”。

1932年10月，由于敌人强大和张国焘战略指导的错误，鄂豫皖红军未能打破国民党军的第四次“围剿”，红四方面军主力2万多人被迫撤出鄂豫皖苏区，开辟川陕革命根据地。

1933年11月至1934年8月，指挥所部参加抗击国民党军20多万人的川陕苏区反“六路围攻”。

1934年2月，当选为中华苏维埃共和国中央执行委员。

1935年6月，第一、四方面军会师后，被任命为红军前敌总指挥部总指挥。曾获金质红星奖章。

1936年7月，第四方面军与第二方面军会师后，任中共中央西北局委员。8月，再次率军北上，指挥了通（渭）庄（浪）静（宁）会（宁）战役。会宁会师后，中央军委指示，第四方面军一部西渡黄河，执行宁夏战役计划。11月，奉军委命令任西路军军政委员会副主席兼西路军总指挥。

抗日战争爆发后，出席了中共中央在洛川召开的政治局扩大会议，被选为中共中央革命军事委员会委员。

1937年8月，任八路军第129师副师长。

1938年4月，率第129师和第115师各一部进入河北省南部，创建冀南抗日根据地。

1939年6月到山东，任八路军第一纵队司令员。

1942年任陕甘宁晋绥联防军副司令员，后任中国人民抗日军政大学代理校长。

1945年，先后任晋冀鲁豫军区副司令员、华北军区副司令员兼第一兵团（后改为中国人民解放军第十八兵团）司令员兼政治委员。

1948年3～5月，指挥临汾战役，以大部分新组建之部队，攻克设防坚固的临汾城。6～7月指挥晋中战役，以6万兵力歼国民党军10万余人，解放县城14座。

1948年10月到1949年4月初，带病组织指挥太原战役，任太原前线司令部司令员兼政治委员、中共太原前线总前委书记。　　

1949年10月，任中国人民解放军总参谋长。

1954年起，任中央人民政府人民革命军事委员会副主席，中华人民共和国国防委员会副主席。

1955年9月27日在北京中南海怀仁堂被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。

1965年起，任第三、第四届全国人大常委会副委员长。

1966～1987年任中共中央军委副主席。参与领导军队革命化、现代化、正规化建设和国防建设。

1966～1976年期间，同林彪、江青反革命集团进行了坚决斗争。

1978～1980年，任国务院副总理兼国防部部长。

1983年6月～1988年4月任中华人民共和国中央军委副主席。他是中共第七至第十二届中央委员，第八届（十一中全会补选）、第十一届、第十二届中央政治局委员。

1990年9月21日在北京逝世，享年89岁。