为了充分动员组织民众，支持山西抗战，中共中央、北方局和八路军总部十分重视发展与国民党地方实力派阎锡山的统一战线。在日军进攻的威胁下，阎锡山接受中国共产党合作抗日的主张，并采用共产党提出的一些进步措施和口号，任用一批抗日青年和政治上比较开明的进步人士，以挽救危局，维护自己的统治。鉴于这种情况，八路军在太原设立以彭雪枫为处长的驻晋办事处，负责八路军总部与阎锡山的联络，开展对晋绥军的统一战线工作。１９３７年９月初，中共中央代表周恩来和八路军领导人彭德怀、林彪、聂荣臻、徐向前、萧克等到达山西。周恩来、彭德怀向阎锡山提出建立有各方代表参加的战地动员委员会的建议。９月２０日，在太原正式成立第二战区民族革命战争战地总动员委员会（简称动委会），第二战区高级参议、国民党左派爱国将领续范亭担任主任委员。共产党方面的委员有四人：邓小平、彭雪枫、程子华、南汉宸（后二人为常驻委员，程任武装部部长，南任组织部副部长）。其动员区域主要包括绥远、察哈尔和晋西北、雁北、晋东北（后属晋察冀边区）地区。各级（包括县、区、村）动委会是发动群众支援和参加抗战的领导机关，起着政府同民众之间的桥梁作用，有的地方（主要是旧政权瓦解的地区）则具有半政权的性质。各级动委会在宣传抗日、组织和武装群众、培养干部、开展游击战争、创建根据地、巩固抗日政权等方面，做了大量的工作。
通过建立与阎锡山的统一战线，群众性的抗日救亡运动和抗日游击战争在山西蓬勃发展起来。以薄一波为书记的中共山西公开工作委员会，在大力进行上层统一战线工作的同时，以山西牺牲救国同盟会（简称牺盟会）为核心，放手发动群众，组织群众，建立工人、农民、青年、妇女等救亡团体，培训干部，开展各种抗日救亡活动。１９３７年９月下旬，牺盟会召开有３００余人参加的第一次代表大会。这时该会会员已发展到几十万人，创建了１０５个县分会和若干中心区，培养了两万多名政治工作干部和军事干部。在日军进攻时，山西大部分旧政权陷于瘫痪和瓦解，牺盟会不失时机地掌握部分地方政权。到１９３８年春，全省１０５个县中，已有７０余县的政权由牺盟会所掌握。
党在山西的统一战线工作，在发展武装力量方面的突出贡献是建立山西新军。全国抗战开始后，阎锡山看到山西旧军在日军进攻面前战斗力很弱，急欲扩充实力。薄一波提议组建山西新军，阎锡山同意先试建一个总队（团），并定名为山西青年抗敌决死队（简称决死队）。决死队于１９３７年８月１日正式成立，各级军事干部由阎锡山指派旧军官担任，政治委员和政治工作干部则绝大部分是共产党员。９月间，决死队发展为四个总队，后来发展为四个纵队（旅）。除决死队外，在山西还相继组建了工人武装自卫纵队、政治保卫旅和暂编第一师等新军武装。到１９３９年底，山西新军共有５０个团（其中４６个正规团），总兵力约５万余人。新军中普遍建立起共产党的组织。它是中国共产党领导的以统一战线形式出现的人民抗日武装力量。新军在建制上属于阎锡山军队系统，这是一种特殊的统一战线形式。山西新军同八路军互相支持、互相配合，在发展和坚持山西及整个华北的抗日游击战争中，发挥了重要作用。
中国共产党在同阎锡山建立统一战线的过程中，反对了关门主义，坚持了独立自主原则。党组织既重视上层统一战线工作，又大刀阔斧地放手发动群众；既抓群众工作，又抓政权和武装工作；既尽力推动阎锡山坚持抗日，又对他的动摇性和反动倾向保持高度的警惕。党在山西的统一战线工作获得的巨大成功，为八路军在山西开展抗日游击战争，建立抗日民主根据地，创造了极为有利的条件。
