胡世俭，１８９７年出生于湖南郴县一贫苦人家。１９２２年初中毕业后，考入衡阳省立第三师范学校。同年冬加入中国共产党，并任湘南学生联合会宣传委员。１９２４年回到郴县，创办平民夜校，从事工农运动骨干的培训工作。１９２５年１０月，组建了中共郴县特别支部。１９２６年初，当选为中共湘南特委委员。３月又被选为中共郴县地方执行委员会委员，先后组建县总工会、县农会筹备处，创办《郴县民报》社。１２月，出席湖南省第一次农民代表大会。会后调中共湖南省委党校工作。
１９２７年“马日事变”后，胡世俭赴宜章恢复县委，组建工农武装，并任县委书记。在此期间，争取了胡少海部队，为朱德、陈毅发动湘南起义创造了有利条件。１９２８年初参加湘南起义，并领导宜章暴动。４月，随朱德部队上井冈山。到井冈山后，曾担任红四军三十三团党代表。后调红四军军部负责宣传工作。
１９２９年初，胡世俭率一支宣传队随红四军挺进赣南、闽西。２月１０日，在江西瑞金黄柏大柏地与敌作战牺牲。