1897年4月28日生，原名叶宜伟，字沧白。广东省梅县人。

1917年入云南讲武堂。曾参与筹建黄埔军校，任教授部副主任。1926年任国民革命军新编第二师师长，后任四军参谋长。1927年加入中国共产党。1927年12月率领所部教导团参加广州起义，任军事指挥部副总指挥。

1928年赴莫斯科学习。1930年回国。1931年到江西中央革命根据地，历任中华苏维埃共和国中央革命军事委员会委员兼总参谋长，中央军委总参谋长兼红一方面军参谋长，西北军委会参谋长兼红一方面军参谋长，工农红军学校校长，瑞金卫戍区司令，闽赣及福建军区司令员。参加了长征，任一纵队司令员、前敌总指挥部参谋长。到陕北后参加和平解决西安事变。抗日战争时期，曾任八路军参谋长，并协同周恩来在国民党统治区做统战工作。

1941年2月任中央军委参谋长。解放战争时期，历任华北军政大学校长，国民革命军第十八集团军参谋长，中国人民解放军总参谋长，北平军事管制委员会主任，北平市市长。1946年任北平军事调处执行部中共首席代表。1948年12月—1949年8月任中共北京市委第一副书记。

建国后，历任广东军区司令员兼政治委员，广州市军事管制委员会主任，广州市市长、市委书记，华南军区司令员兼政委，中南军区副司令员、代司令员，中共中央中南局代书记。1949年10月当选为中苏友好协会总会理事、中央人民政府华侨事务委员会委员、中央人民政府人民革命军事委员会委员。1949年12月—1953年1月任中南军政委员会副主席。1950年4月任广东省政府主席。1950年9月—1954年7月任广东省政府财经委员会主任（兼）。1953年1月任中南行政委员会副主席。1954年6月任中央人民政府革命军事委员会副主席。1954年9月任国防委员会副主席。1954年11月任中国人民解放军武装力量监察部部长。1958年3月任军事科学院第一任院长兼政委。1959年4月、1965年1月任国防委员会副主席。1965年1月当选为第四届全国政协副主席。1975年1月任国防部部长。1978年3月当选为第五届全国人大常委会委员长（1983年辞）。1982年9月任中共中央军事委员会副主席。1983年6月任中华人民共和国中央军事委员会副主席。

还曾任中国钓鱼协会名誉主席，第八届中央政治局委员、中央书记处书记，第九届中央政治局委员，第十、十一届中央副主席，第十二届中央政治局常委。是中共第七届中央委员, 第一至三届全国人大常委会委员，第四届全国人大代表（解放军）。

1985年9月经中共全国代表会议同意不再担任中央委员，同年辞去党、国家和军队领导职务。

1955年被授予元帅军衔，并获一级八一勋章，一级独立自由勋章，一级解放勋章。1982年获哥伦比亚众议院授予的特级大十字民主勋章。

1986年10月22日在北京逝世，终年89岁。