黄克诚在湖南正干得起劲，毛泽东速调他赴中央军委
就在黄克诚意气风发，准备继续带领家乡人民奋斗若干年，为建设新湖南作出更大的贡献的时候，1952年7月，中共中央电令，要调他到北京担任中央军委副总参谋长兼原总后勤部部长。这一次，又是毛泽东亲自点将点到他的。
这个调令来得太突然了，黄克诚的心中不由得起了波澜。他不想离开湖南，他舍不得离开湖南啊！
他在房间里踱起步来，一圈又一圈，一圈又一圈……
终于，他接通了毛泽东的电话。“哈哈，我就晓得你会给我打电话。怎么，想不通？”电话里响起毛泽东爽朗的笑声。黄克诚直言道：“主席，我不是想不通。我是觉得我比较适合做地方工作……”
话还未说完，毛泽东打断了他的话：“克诚，我明白你在湖南正干得起劲，舍不得离开！剿匪、镇反、搞土改、搞工矿业、团结民主人士，哪一样都很有成绩，确实有干头！可你比较适合做地方工作，不等于你不适合做军队工作嘛！你本就是从军队到地方的，你在湖南，不是也一直兼任着军区司令员和政委嘛！现在军委更需要你！”
“能做军队工作的大有人在嘛！”黄克诚申辩道。
“我老实告诉你呀，现在的总后勤部刚组建不久，是个乱摊子！
也是个大摊子，亟需加强领导。”
毛泽东的语气明显地严肃起来，“军委一致认为，你是最佳人选。克诚，你就别留恋湖南了，中央已经作出决定。乱摊子不是谁都可以收拾的嘛，现在军委要用人，要用你这个人，是全盘考虑过的，你就莫跟我啰嗦了。”
“既然这样，主席您放心！”黄克诚态度一下子坚决起来，“我现在确实不想离开湖南。但我记得朱老总曾经说过的：‘戏点到谁谁就唱，共产党员嘛！我们都要听党中央的。’既然中央作出了决定，我不再坚持个人意见，坚决服从中央决定！”
黄克诚自参加革命以来，20多年里没有回过家乡，在湖南3年了都没回过永兴老家。毛泽东得知后，命他赴任北京之前一定要回老家看看，说“不要像我，现在想回去看看都难了”。黄克诚深深理解毛泽东因操劳国事不能回韶山看看的心情，服从了这个命令。
1952年9月，黄克诚恋恋不舍地离开湖南到北京任职。
20世纪50年代初期，人民解放军的后勤保障工作正处于历史性转变时期，集中统一的军队后勤工作正处于初创阶段，面临着后勤体制建设、基础建设和统一供应等一系列新的任务和课题，工作千头万绪，说是个“乱摊子”一点也不为过。
黄克诚了解一番情况后，即正式上班，主持后勤全面工作。10月，中央军委主席毛泽东签发命令，正式任命黄克诚为原总参谋部第三副总参谋长兼总后勤部部长。1954年10月31日，黄克诚出任军委秘书长。同月，黄克诚被任命为国防部第一副部长、总后勤部部长兼政治委员。1955年被授予大将军衔。1956年，在中共第八次代表大会上，黄克诚被选为中央委员、中央书记处书记。同年，他又增补为中央军委委员。
1958年8月31日，中共中央政治局决定黄克诚接任总参谋长一职。1954年黄克诚出任中央军委秘书长以后，不再主持总后勤部的日常工作，但直到1957年5月，他一直兼任总后勤部部长、政治委员，后勤工作方面的重大事项仍向他报告，经他批准办理或上报军委批准办理。
黄克诚在中央军委期间，职务越来越重要，工作越来越多。
他主管后勤工作前后5年的时间里，提出和确立了“为国家负责、为部队负责”的指导思想，健全完善后勤工作规章制度，为实现后勤工作向现代化建设的转变，奠定了良好基础。
黄克诚自到总参主持日常工作开始，直到1959年被罢官，在长达数年的时间里，他协助彭德怀、聂荣臻主持军委、总参日常工作，主持大规模精简整编，担负朝鲜前线的战勤保障；在涉及党和军队根本领导制度的争论中，黄克诚抵制苏联一长制，提出“党委集体领导下的首长分工负责制”，被认为是对党和军队政治工作的一大贡献；在炮击金门战役中，他深刻领会这是毛泽东精心决策、直接指挥的集政治、军事与外交于一体的重大斗争，并参与了炮击金门作战的组织和指挥，是毛泽东和周恩来、彭德怀的重要助手；他支持建立新装备，协助彭德怀、聂荣臻领导军队武器装备向现代化发展，并受命直接领导了“两弹”（导弹、原子弹）基地试验场选址和初建工作……总之，黄克诚在中央军委期间，为人民军队的革命化、现代化和正规化建设，作出了巨大的贡献，堪以彪炳青史。
