1937年7月7日，发生卢沟桥事变，中国全民族的抗日战争爆发。随后，以国共两党第二次合作为基础的抗日民族统一战线正式形成。8月，随周恩来、朱德、叶剑英赴南京参加国民党政府召开的国防会议。8月25日，红军改编为八路军，任政治部副主任。

1938年1月，任八路军一二九师政治委员，与师长刘伯承一起在太行山区开辟晋冀豫边区抗日根据地。9月至11月，参加在延安召开的中共扩大的六届六中全会。全会确定，要不断巩固和扩大抗日民族统一战线，并重申党的独立自主地放手组织人民抗日武装斗争的方针。在会上作关于地方工作的报告。

1939年7月3日，参加在延安召开的中共中央政治局扩大会议。9月，同卓琳结婚，后一起回到太行山。

1940年8月至12月，参与指挥百团大战。百团大战是八路军在华北地区发动的一次规模最大的带有战略性的对日军的进攻战役。

1941年4月15日，发表《党与抗日民主政权》一文，阐述中国共产党关于建立抗日民主政权的基本理论和政策。

1942年9月，任中共中央北方局太行分局书记。

1943年1月26日，在中共中央太行分局高级干部会议上对以往五年对敌斗争作了系统总结，概括了军事、政治、经济、文化等方面对敌斗争的重要经验，并提出今后对敌斗争的方针。强调一切政策、一切工作的出发点，都必须掌握中日矛盾的实质，发展抗日民族统一战线。要以坚持敌后斗争去影响全国，争取战后团结建国。7月2日，发表《太行区的经济建设》一文。指出发展生产是打破敌人封锁、建设根据地自给自足经济的基础，发展农业和手工业是生产的重心。10月6日，中共中央北方局与太行分局合并，任北方局代理书记，主持晋冀鲁豫地区党政军工作。

1945年6月，在中国共产党第七次全国代表大会上，当选为中央委员。8月，日本宣布投降。此时，与刘伯承领导的抗日根据地已扩大为太行、太岳、冀鲁豫、冀南等四个地区。中共中央决定成立晋冀鲁豫中央局和晋冀鲁豫军区，任中央局书记和军区政治委员。9月至10月，为反击国民党军向解放区的进攻，同刘伯承指挥上党战役、邯郸战役。