全国抗战爆发后，八路军、新四军在开展敌后游击战争、创建抗日根据地和发展部队等方面取得了很大成绩。但由于人力、物力和财力有限，敌后抗日根据地进入严重困难阶段。部队庞大、机关臃肿，兵多难养的矛盾日益突出，根据地面临极大的生存危机。
为了应对困局，减轻老百姓负担，中共中央一方面号召开展以农业为中心的大生产运动，一方面实行精兵简政。
一
1941年11月6日至21日，陕甘宁边区第二届参议会第一次会议在延安举行。毛泽东出席开幕式并发表演讲，批评不善于同党外人士合作的狭隘的关门主义和宗派主义作风，号召党员要和党外人士合作，鼓励大家多提意见。时任米脂县参议会议长、边区参议员的开明绅士李鼎铭与其他10名参议员响应毛泽东号召，根据边区群众几年来经济负担过重的实际情况，联名提出《政府应彻底计划经济，实行精兵简政主义，避免入不敷出、经济紊乱之现象》议案，同时提出5条具体实施建议。
议案一经提出就招来一些反对声音，指出该议案有碍军队建设和民主政权的巩固发展。毛泽东知道后非常重视，他把整个提案抄到自己的本子上，重要的地方用红笔圈起，并在一旁加了一段批语：“这个办法很好，恰恰是改造我们的机关主义、官僚主义、形式主义的对症药。”在毛泽东的肯定和说服下，11月18日，大会通过提案并成为边区政府的决议。毛泽东后来说：“‘精兵简政’这一条意见，就是党外人士李鼎铭先生提出来的；他提得好，对人民有好处，我们就采用了。”
11月27日，参议会闭幕后的第6天，边区政府召开第一次政务会议，重点讨论贯彻执行精兵简政的问题。会上，李鼎铭重申了该案的要义，谢觉哉、萧劲光分别就精兵简政问题提出建议。会议决定设立由刘景范、高自立、周文、周兴、南汉宸组成的边区“编整委员会”，具体负责边区各级行政组织机构的精简裁并及人员编制等工作，并定于12月15日以前拟出精简方案，年底办妥，翌年1月1日起实行。
12月初，边区政府第二次政务会议再次重点讨论精简方案问题，初步确定了各机关、部队、群众团体裁减人数，以及相关部门的调整、精简问题，会后分别以训令和指示信的形式，向各厅、院、处和各专署、县府发出决策部署。精兵简政开始在陕甘宁边区实施。
边区机关率先示范，迅速展开行动。至12月20日，边区民政厅精简工作基本完成；22日，边区政府保安处精简完成；24日，边区政府财政厅精简完成；26日，边区政府建设厅精简完成；28日，边区高等法院精简完成，边区银行总分行也精简就绪；30日，边区保安司令部开始实行精简……同月25日，清涧县政府召开会议部署精简工作，成为边区第一个精兵简政的县级政府。
二
为了贯彻中共中央关于精兵简政的精神，毛泽东多次致电华北、华中各抗日根据地，要求他们下决心实行彻底的精简，否则“弄到民困军愁，便有坐毙危险”。毛泽东的一系列指示和部署，对边区和其他抗日根据地的工作起到重要的推动作用。
在中央持续指导和陕甘宁边区的影响带动下，晋察冀、晋冀鲁豫等抗日根据地先后开始精兵简政。
1942年1月15日起，晋察冀军区开展了缩编主力、加强地方武装和民兵建设等工作。整编后，军区总兵力由1940年底的近11万人减至9.5万人，民兵由1941年底的30万人增至约40万人。晋冀鲁豫军区精简整编工作与晋察冀军区同时展开，除充实战斗部队、加强地方武装外，还着力做好部分人员的送校学习和转业工作。八路军第129师对编余人员根据不同情况划定了4条标准，分别是参加革命斗争5年以上者、家在根据地以内者、家在根据地以外或在敌占区者，以及其他情况者，不同情况处理方式不同。为了稳定军心，第129师还规定，对于所裁汰人员应“妥为资潜回籍与适当安置，特别是对抗战有功的老年同志与残废同志，尤应郑重处理，否则破坏政治影响”。经过精简，八路军第129师、晋冀鲁豫军区成功达到中央提出的精简标准，将党政军脱产人员控制在全区人口的3%以下。
1941年11月，晋西北军区召开军分区首长以上干部会议，讨论中共中央关于精兵简政的指示，结合军区具体情况制定了部队精简计划和编余人员处理原则。翌年2月，军区又对精简整编工作进行了调整部署。八路军第120师师部专门组成工作组，分头下到第358、第359旅和大青山支队进行深入动员，指导开展整编工作。至3月，晋西北军区主力部队由3.9万人精简为3.5万人，裁减公务人员731名，八路军第120师和新军部队共减少伙食单位118个。
1942年4月中旬，中共山东分局和山东军政委员会也展开整编，将一切领导集中于山东分局，下设军政委员会；山东纵队第1旅划归八路军第115师建制；八路军第115师师部、山东纵队队部和山东分局合署办公，机关人员精简1/3（约0.35万人）。
三
精兵简政工作开展一段时间后，不断有问题暴露出来。毛泽东与党内外人士多次沟通后，认为主要症结在于调查研究做得不够，应进行全面精密的分析，拿出切实的举措来。
1942年4月9日，陕甘宁边区召开第二次全体会议，对前一阶段精兵简政进行了总结。会议还接受了李鼎铭等人的建议，兼顾军政民三方利益，邀请党与军队方面参与编整委员会并加强其职权，筹备开展第二阶段的工作。
4月22日，中共中央书记处发出关于总结精兵简政经验的通知，指出了各地区第一阶段工作中存在的普遍性问题。
8月22日，毛泽东在中央政治局会议上就整顿三风、精兵简政和陕甘宁边区工作问题发言，指出：总的目标就是整顿三风、精兵简政；办法是五整，即整军、整政、整党、整财、整关系；中央和军委要以工作和教育作为两个标准来进行大整。
29日，中共中央政治局会议正式通过《关于统一抗日根据地党的领导及调整各组织间关系的决定》，规定9月1日发出，作为整风文件。会上，毛泽东提出精兵简政的目的是“精简、效能、统一、节约、反官僚主义”，并指出“精兵简政”是一个政策，牵涉到军民关系、军事建设、行政效能、工作作风、财政政策等各方面，关系到根据地的存亡。
9月7日，《解放日报》发表毛泽东撰写的社论《一个极其重要的政策》，阐述精兵简政的必要性和重要性。“什么是抗日航船今后的暗礁呢？就是抗战最后阶段中的物质方面的极端严重的困难……今后的物质困难必然更甚于目前，我们必须克服这个困难，我们的重要的办法之一就是精兵简政……假若我们还要维持庞大的机构，那就会正中敌人的奸计。假若我们缩小自己的机构，使兵精政简，我们的战争机构虽然小了，仍然是有力量的；而因克服了鱼大水小的矛盾，使我们的战争机构适合战争的情况，我们就将显得越发有力量，我们就不会被敌人战胜，而要最后地战胜敌人。”依据这种分析，毛泽东强调“精兵简政”是克服困难的“一个极其重要的政策”。
12月1日，中共中央发出《关于加强统一领导与精兵简政工作的指示》，强调了精兵简政的迫切性，要求部队实行彻底的精简，而不是小的不痛不痒的精简。指示还指出，除特殊情况外，各部队原则上不再补兵；作战损失后，连、营、团两个并为一个，旅的番号撤销一部分，军区、军分区许多性质相类似的机关合并办公；全军精简后，做到“量小而质精，更有战斗力”。
遵照中央指示精神，各抗日根据地及时总结经验教训，结合自身实际分别开展了第二次、第三次甚至第四次精简，历时2年多，至1944年基本完成。
“精兵简政”对抗日根据地克服严重困难，完善政权建设和军队建设发挥了重要作用，成为抗日根据地的“十大政策”之一。