中国工农红军陕甘游击队的前身可追溯到中国工农红军晋西游击队。1931年，为坚持和发展陕甘游击战争，根据中共北方局的指示，中共山西省特委领导组建一支游击队伍。
1931年5月上旬，我国西北地区第一支红军部队：中国工农红军晋西游击队第一大队（简称晋西游击队）在山西隰县辛庄组建完毕，大队长拓克宽、政委黄子文（由北方局派来）、副大队长阎红彦、吴岱峰，党委书记杨重远。这支部队的组建发展了革命力量，播下了革命火种，并为创建西北红军打下了坚实的基础。
陕北“扩红”
晋西游击队成立后，连打胜仗，很快发展到100多人，吕梁山地区国民党各县政府纷纷告急。1931年夏，山西特委遭破坏，晋西游击队失去与组织的联系。在国民党军万余人的“围剿”下，晋西游击队突出重围，于1931年9月2日晚在石楼辛关西渡黄河，转入陕北。
晋西游击队渡过黄河后，即向陕西安定县(今子长县)西区枣树坪（谢子长家乡）前进。9月5日到枣树坪找到了西区区委书记谢德惠（谢子长的长兄），并通过谢德惠联络到了中共陕北特委委员、安定县委书记马文瑞。
得知晋西游击队来到陕北，马文瑞立即主持召开了安定县委会议，研究如何支持部队站稳脚跟、发展壮大等问题，同时派县委委员慕嘉绩和特委派来巡视工作的张资平代表特委和安定县委看望部队，并带去一些部队急需的用品。
9月，晋西游击队来到柳树滩召开会议，推选阎红彦为大队长，吴岱峰为副大队长，杨重远为政委。为了壮大游击队，马文瑞和县委一班人，全力投入了“扩红”工作。马文瑞首先派了原陕北特委军委委员、人称“活地图”的马云泽参加游击队，接着又把一批经过培养和选拔的共产党员和进步青年50多人送到了游击队，随后特委也派了些人来，部队发展到近百人。这些人政治觉悟高，多数人有文化，如强龙光、郭立本曾是谢子长办的安定农讲所学员。
他们中许多人后来成为陕甘游击队和红二十六军中的骨干分子，不少人回到安定等地后又成为创建陕北红一、二支队，发展陕北游击战争的开路先锋和骨干。马云泽先后担任西北抗日同盟军和西北抗日同盟军一支队党支部书记；强龙光先后担任西北抗日同盟军和陕甘游击队骑兵大队长，1933年7月牺牲在收复多伦的抗日前线；强世卿先后担任了红二十七军前身陕北九支队、陕北一支队的支队长；路文昌、白雪山等人后来也成为陕北二支队、红二团的主要领导人。
马文瑞在欢送这批青年入伍时，代表特委和县委讲了话。他说：“我们陕北自古以来吃粮当兵的人不少，但是参加共产党领导的穷人自己的队伍，这还是开天辟地头一回。你们参加的是红军游击队，今后你们就是扛枪闹革命的红军战士。你们要时刻不忘自己是革命战士，是替劳苦大众打天下的队伍。所以，一言一行、一举一动都要为人民着想。”临别时，吴岱峰紧紧握住马文瑞的手说：“感谢地方党组织的支持帮助，感谢安定县委为部队补充了新生力量。”
连战连捷
在党的领导下，晋西游击队转战安塞、保安、靖边、横山后返回安定，先后在安塞县平桥、保安县安条岭、安定县寨儿山、营盘山与国民党军发生战斗，连战连捷，还创建了骑兵。在安条岭战斗中，晋西游击队击溃敌高玉亭营与保安县民团步骑300余人，在寨儿山、营盘山战斗中击溃敌万宝山营及横山民团的联合袭击中，缴获步枪五六十支，子弹数千发，俘敌三四十人。杨重远政委把俘虏集中起来讲话，欢迎他们参加红军，愿回家者每人发银洋二元，并把敌伤兵送往安定县城。
晋西游击队的胜利使大批青年和绿林武装慕名而来，要求参加游击队。为了壮大革命力量，晋西游击队随即制定了服从队委领导、不抢穷人东西、不强奸妇女等改造绿林武装条款，将他们另编为陕北支队。马文瑞和县委成员们讨论后，基本同意游击队的办法，绿林武装即按上述条件接受晋西游击队改编，联合行动。随后，游击队和地方党组织又派去5名党员，分别担任各队指导员，并由各队抽调人、枪组成了一个执法队。
此时，马文瑞在任家砭开展工作时发展的女地下党员任志贞得到国民党崇宝卿团派一个加强骑兵排前去“围剿”游击队的消息。根据马文瑞的指示，任志贞到敌宿营地侦察情况后，连夜将情报送到南沟岔游击队的驻地。游击队连夜赶到玉家湾，根据侦察员魏殿元叙述的情况包围了这股敌人，并于拂晓前发动进攻，当场击毙敌三个排长，并俘虏了其余的敌人，缴获了全部武器弹药和马匹。游击队趁瓦窑堡的敌人还没有察觉，又突袭瓦窑堡，突破2道城墙工事，打进了内城，迫使敌人退守米粮山杨公寨。
游击队在永坪镇休整期间，根据地方党组织送来的情报，得知敌驻延安旅长高双成到榆林向军阀井岳秀拜寿完毕，将返回延安。队委于是决定派部队南下到雁门关险要处设伏，活捉敌旅长。部队于次日拂晓出发，但在爬雁门关折顶山时，发现敌人已占据山顶。因山高沟深，地形不利，游击队有肖永胜、张福才、贺得胜三位同志牺牲，队委遂决定撤出战斗。
高双成立即纠集各县敌军和民团，向游击队发动进攻。前锋敌人步骑兵六七百人在延川县清平川岔口包围了游击队，但游击队夜间从陡坡滑下去，巧妙突围。
此时，马文瑞派人帮助部队在安定县的凉水湾进行休整，并将陕北特委“游击队应避开敌人主力，可转到甘肃去开展游击战争”的指示传达给部队，并将游击队的撤退路线通知中共陕西省委。晋西游击队南下，先后在保安县野鸡岔和红柳沟击溃敌张廷芝部，缴获战马20余匹，步枪20多支及一批军需物资。
整编建军
1931年10月下旬，晋西游击队和联合作战的陕北支队步骑兵约300余人进抵南梁堡一带，与刘志丹率领的红军会合。刘志丹随即会同谢子长对部队进行了进一步的整编。
1932年1月上旬，经陕西省委批准，在北柴桥村成立西北抗日反帝同盟军，总指挥谢子长，副总指挥刘志丹，参谋长杨重远。部队辖两个支队：第一支队由师诸杰任支队长；第二支队由刘志丹兼任支队长；另外还成立了直属警卫队和直属骑兵队。全军共500多人，装备为现代武器和刀矛各半。部队编成后，随即成立了中共西北抗日反帝同盟军委员会(简称队委会)，由谢子长担任书记，委员有刘志丹、阎红彦、杨重远等，各支队还成立了党支部。
为了建立渭北苏区，中共陕西省委派省委常委、军委书记李杰夫来到部队，担任同盟军政委兼队委会书记。1932年2月12日，中国工农红军陕甘游击队（简称陕甘游击队）在正宁县三嘉塬细嘴子正式宣布成立，谢子长为总指挥，政委李杰夫兼队委会书记。陕甘游击队由晋西游击队90多人为骨干，晋西游击队和一支队杨琪、杨鼎部100多人为主干，外加二支队留下的50多人组成的新兵连和渭北党组织动员的旬邑、三原武字区农民100多人的补充队，共400余人，这是中国共产党在陕甘地区组建的第一支正规红军武装。12月24日，宜君县转角镇陕甘游击队改编为中国工农红军第26军第2团，团长王世泰，军政委兼二团政委杜衡，参谋长郑毅，政治处长刘志丹，参谋处长杨重远。
陕甘游击队是西北红军的源头，中国工农红军陕甘游击队这面红旗一经打起，就一直在西北高原高高飘扬，使得西北革命形势迅猛发展。由陕甘游击队改编的红二十六军创建了陕甘边革命根据地；以原陕甘游击队成员谢子长、杨重远、杨琪、强世卿、魏武、马佩勋、白雪山、路文昌、王兆相、杨文漠、李成兰、李成荣为中心和中坚力量的红二十七军及其前身陕北各游击支队创建了陕北革命根据地。1935年6月，两块根据地连成一片，形成了统一的西北革命根据地。
