谢维俊，１９０８年１０月９日出生于湖南省耒阳县。７岁读私塾，曾先后就读于蒋家祠堂初级小学、衡阳省立三师附小、蒸湘中学。１９２４年，他被选为湘南学联代表，并参加中国社会主义青年团，成为青年运动的骨干。
中学毕业后，谢维俊报考了国民革命军在湘兴办的政治讲习所。１９２６年夏，加入中国共产党。北伐军先遣部队进入湖南时，他受党组织的派遣，赴耒阳担任县总工会特派员，与刘泰、刘霞等领导全县的工农运动，被选为青年工友社筹备会指导员，致力于发动工人开展革命斗争。
长沙“马日事变”和衡阳“沁日事变”后，谢维俊匿居岳父家，仍不怕危险，秘密联络党员骨干，组建中共肥田支部，组织游击小组，在北乡下四团牛志冲一带打击“挨户团”。
当朱德、陈毅联系和部署郴县、耒阳、宜章、资兴、永兴、汝城、桂东等县的党组织发动年关暴动时，谢维俊将游击小组扩编为赤卫队，和蒋啸青一道在肥田组织暴动，因寡不敌众，被迫撤至衡南的烟灭山、桐子山一带打游击。朱德率部攻占耒阳县城后，谢维俊以县苏维埃政府特派员身份负责领导耒阳北乡新市街和江头一带的工作，带领赤卫队在大岭坳、鳌山庙参加抗击桂系军阀的战斗。朱德率工农革命军进军井冈山，谢维俊尾随朱德部队上了井冈山。
谢维俊到井冈山后，先在红四军前敌委员会做宣传工作，后到第二十八团第一营当连党代表，参加了井冈山根据地初创的伟大斗争。１９２９年春，他随毛泽东、朱德率领的红四军出师赣南、闽西，被编入第一纵队，参加大柏地全歼敌刘士毅部第二十九、第三十两个团和在长汀全歼敌郭凤鸣部两个团的战斗。这时，他曾以兴奋的心情写了一首诗寄给妻子，以抒发战斗生活的自豪和对亲人的惦念。
毛泽东、朱德率整编后的红四军在瑞金与彭德怀、滕代远率领的红五军胜利会师时，曾接到《中央给润之、玉阶两同志并转湘赣边特委的信》。中央由于对客观形势的错误估计，在红军行动策略问题上，主张将红军分成小队伍，散向农村，并要求毛泽东、朱德离开红军。毛泽东、朱德等认为这封信的意见是不适当的，前敌委员会在给中央的复信中，阐述了对南方各省革命形势的看法，并提出“争取江西，同时兼及闽西、浙西”等战略方针。在红军干部中出现了分歧，有的拥护中央来信，有的支持毛泽东的主张。谢维俊是支持毛泽东意见的一个，他所领导的支部还提出朱德和毛泽东都应留在部队。
１９２９年夏，谢维俊从第一纵队第一支队连党代表调第二支队任党代表。古田会议前，又调第一纵队任政治部主任。古田会议后，他被介绍到赣西南红色区域帮助工作，并当选为赣西南特委委员。
１９３０年夏，谢维俊调任中共赣东特委书记。红一方面军攻下吉安，他又当选为江西省苏维埃政府委员。主力红军从吉安挥师北进时，他即回到部队，在红一方面军总前委任秘书，朝夕工作在毛泽东、朱德身边，成了总前委的得力干部。毛泽东在《农村调查》一书中，曾有过如下的记述：“一九三〇年十一月十八日，红军放弃吉安。十九日，我和古柏、谢维俊二同志从吉安往永丰属之蘅田，会合红军主力，二十一日经水南到白沙。在木口村吃午饭，调查了村政府委员的成分及村所杀反动分子的成分。”
红一方面军总前委撤销后，谢维俊调到第一军团任职，先后担任过团和师的政治委员。同年秋，他随毛泽东从闽西回师赣南，在瑞金待机歼敌。这时的瑞金在“肃反”斗争中发生了扩大化现象，相当多的人遭到怀疑和逮捕，有些甚至被错杀。谢维俊了解到这些情况，深感不安。为了改变这一局势，他提请刚从右江根据地来到瑞金的邓小平担任县委书记，并积极帮助邓小平开展工作。经过深入调查，很快把真正的坏人揭发出来，公审处决，为被冤屈的干部群众平反，然后召开县苏维埃代表大会，选举一批本地农民干部充实各级领导岗位，大大调动了群众的积极性，使全县面貌为之改观。
谢维俊在再次调离部队后，曾在永丰中心县委和江西省委工作。他仍然抵制“左”倾错误的一些做法，不同意“地主不分田，富农分坏田”，继续按照毛泽东所主张的土地政策办事，保证这一地区的土地革命基本上健康发展。他对“左”倾冒险错误的领导者的一些错误和对毛泽东的否定极为不满，曾和邓小平、毛泽覃、古柏等一道，对“左”倾冒险错误有所抵制。在中央苏区粉碎敌人第三次“围剿”后，为了统一指挥地方武装，对付敌人的再次进犯，中华苏维埃中央革命军事委员会于１９３２年２月决定将原江西红军总指挥部改建为江西省军区，由陈毅任司令员兼政治委员，谢维俊被任命为政治部主任。９月，江西省军区第二军分区在乐安县太平墟成立时，谢维俊调任第二军分区司令员，后又接替调省军区的郭天民任红军独立第五师师长，积极配合中央进行反“围剿”的斗争。
乐安、宜黄、崇仁是中央苏区北线门户，是敌我争夺之要地，敌情十分复杂。在准备进行第四次反“围剿”中，红一方面军总司令朱德、总政委毛泽东曾颁布“九二六”训令，决定把宜黄、乐安、南丰一带作为反“围剿”的主要战场。为了贯彻这一决定，谢维俊带领永丰、乐安两县的地方武装，用两个月的时间，消灭了这一地区的“独立勇敢队”，拔除了号称“第三武装”并为害该地区一年多的钉子。第四次反“围剿”战斗正式开始后，毛泽东虽被迫离开了红军的领导岗位，但周恩来、朱德运用前三次反“围剿”胜利的成功经验，继续采用“声东击西，集中兵力，大兵团伏击”的战法，取得了战役的胜利。在这次作战中，谢维俊率领独立第五师和第二军分区地方武装主动出击，打了许多漂亮的胜仗，有力地配合了红军主力在宜黄的作战，打乱了蒋介石对中央苏区军事进攻的部署，因此受到周恩来、朱德的热情赞扬。
黄陂、草台岗战役后，蒋介石部署的第四次“围剿”宣告破产。在追击逃敌中，谢维俊还率部在南丰白沙击毙了敌新编第三十七师师长郭炳生。由于他率领的第二军分区所属武装配合红军主力作战有功，江西省军区特地为他们颁发了一面奖旗。
中共临时中央政治局由上海迁入中央苏区后，临时中央的“左”倾错误领导者不顾敌强我弱的严峻形势，坚持“进攻路线”，“全线出击”，要与敌决战，指责游击战是“游击主义”，并给赞成和执行毛泽东主张的福建省委代理书记罗明扣上“动摇懦弱无气节的小资产阶级分子”、“反抗党的进攻路线”的帽子，开展了所谓反“罗明路线”的斗争，并把拥护毛泽东正确主张的邓小平、毛泽覃、古柏、谢维俊四个人作为“江西罗明路线”的代表来进行批判斗争。他们指责谢维俊“不能充分地动员宜乐地方武装坚决的挺进游击来截住阻碍敌人的行动”，指责他“一贯忽视赤少队工作，忽视群众力量”，是“对进攻路线执行的机会主义的动摇”，并撤销了他的职务。面对这种打击，谢维俊毫不气馁，在调走之前仍坚守岗位。中央局召开江西党的全省三个月工作总结会议，宣布“邓毛谢古”是“反党的派别和小组的领袖”，后又作出《关于江西罗明路线的决议》、《江西省委对邓小平、毛泽覃、谢维俊、古柏四同志二次申明书的决议》。不久，邓、毛、谢、古四人分别被派往农村或撤换职务，但是他们仍坚信自己是正确的。
在第五次反“围剿”失败后，红军开始长征。谢维俊被编在中央军委第二纵队地方干部队，从瑞金出发，随军长征。红军在贵州黎平整编时，第二纵队改编为三个梯队，谢维俊编在李维汉领导的梯队。在行军的路上，他虽然身体虚弱，行动艰难，但仍然随时随地做党的工作，向群众讲解红军政策，组织地方武装和筹粮筹款等。
遵义会议结束了王明“左”倾错误在党中央的统治，确立了毛泽东在党中央的领导地位。谢维俊也被调到红军总政治部地方工作部任秘书，协助部长李维汉工作。当部队到达四川大小凉山的藏族地区时，他不顾身体多病，拄着棍子来到藏族同胞中间宣传党的民族政策，揭露国民党特务的欺骗。他想方设法，尽可能地发些粮食、衣服等给当地的灾民，密切了红军与群众的联系，得到了群众的拥戴和支援。
红军到达陕北根据地的吴起镇以后，谢维俊任支队长（副支队长为李坚贞），率部留在吴起镇一带剿匪。当李维汉被任命为中共定边少数民族工作委员会书记，筹建陕甘省委后，１９３６年初，谢维俊又被陕北省委任命为三边特委书记，协助李维汉进行筹建陕甘省委的工作。
谢维俊接受任务后，即与三边特委副书记兼组织部长慕生桂、军事部长刘景范取得联系，率部向保安进军。他在保安主持召开的军事会议上，决定由李坚贞带一连部队向东发展，而自己则带３００人前往定边开辟新区。在途中，他所率部队突然遭到马鸿逵土匪部队的包围。谢维俊指挥部队冒着大风雪与敌展开血战，不幸胸中数弹，壮烈牺牲。
毛泽东在党的六届六中全会上，为“邓毛谢古”一案彻底平反。林伯渠在陕北写下诗句，表达对党内反倾向斗争的反思和对英勇牺牲烈士的怀念：
偶忆往事便心惊，谢古邓毛剩小平；
割截无情读八股，江西战线有罗明。
谢维俊在红军斗争中对党的无比忠诚和对“左”倾错误的坚决斗争，已载入中共党史史册。历史证明，谢维俊是毛泽东正确主张的维护者和执行者，是对中国革命有大功的人。他把一生献给了人民解放事业，虽死犹生，党和人民不会忘记他。