效仿欧洲，起源陆军
美军参谋机构，最早出现在美国陆军中。随着普鲁士-德国总参谋部模式的成功，南北战争后，以埃默里·厄普顿为代表的一些军事家积极要求改革，提出美国军队应建立德国式的参谋部，由受过高等军事教育的军官组成，主要职责是制定组织方案和作战计划。厄普顿倡导参谋部应为一个实体部门机构，完全由军方领导，不受文官和政府行政干预。
受此思想影响，1899年8月，新任陆军部长伊莱休·鲁特推动军事改革，对指挥与领导体制的改革是其中的重要内容。鲁特认为，应彻底取消陆军司令这一“不伦不类”的职位，以陆军参谋长一职取而代之，并成立参谋部，参谋部由参谋长领导筹划工作，制定一切能够应付突发事件的战争计划。这样，就能使多是文官出身的陆军部长得到军队内行的建议。
1902年，鲁特向国会提出组建参谋部的提案。1903年2月14日，美国国会通过《参谋部法》，取消陆军司令，设立陆军参谋长一职。8月15日，美国陆军参谋部组建完毕，塞缪尔·扬任美国第一任陆军参谋长，由总统经陆军部长再到参谋长的指挥系统宣告形成。
1917年5月12日，美国国会通过法律，规定“参谋长应有高于陆军所有军官的军衔和地位”。1918年5月，陆军参谋长佩顿·马奇在参谋部设立4个处：作战处、军事情报处、采购贮存与运输处、战争计划处，参谋部的人数也从组建伊始的数十人发展到1072人。
不得不提的是，美国作为典型的文官治军国家，并没有完全复制普鲁士-德国总参谋部模式。埃默里·厄普顿、伊莱休·鲁特等一大批军人曾数次想参照德国模式，组建总参谋部以指挥和控制全国军队，但在历次参谋部与陆军部的权力角逐中，文官为主的陆军部往往能够获得总统和国会的支持，因此尽管陆军参谋长和参谋部地位得以提升，但依然无法越过陆军部指挥全军。
二战中组建参谋长联席会议
美军实行国防部内设参谋长联席会议的制度，其首长为参谋长联席会议主席，下设主席办公室和联合参谋部。参谋长联席会议由主席、副主席、陆军参谋长、海军作战部长、空军参谋长和海军陆战队司令组成。参联会是美国总统、国家安全委员会和国防部长的最高军事参谋机关，总统、国家安全委员会和国防部长通过其实施作战指挥。
美国参谋长联席会议创建于1942年。之前，美军并没有领导、指挥三军作战的军事统帅机关，仅有一个属于联络性质的陆海军联合委员会。该委员会于1903年由伊莱休·鲁特提议组建，由于未被法律赋予强制执行决定的权力，陆海军联合委员会始终未有大的作为。
二战时期，美国宣布参战后，为方便与以英国为首的盟军参谋长联合委员会协作，罗斯福总统于1942年下令组建参谋长联席会议，对美国武装部队实施统一指挥。当年2月，参谋长联席会议正式成立，下设12个委员会和战略情报局。在罗斯福领导下，这个既没有经过法律批准也没有经总统正式定义的新军事机构成为美国对陆、海军进行协调和指挥的主要机构。美参谋长联席会议与英国参谋长联合委员会协同工作，计划并实施广泛的战略指挥，对取得世界反法西斯战争胜利作出重要贡献。
战后历经多次改革
1947年，美国通过其国防结构的基础性法案——《国家安全法》，负责对三军实施指导、管理与控制的美国国防部正式成立。该法律同时规定撤销陆海军联合委员会，在国防部内成立参谋长联席会议，作为总统和国防部长的顾问机构。在1949年8月的修正案中，国防部权力进一步加强，美3个军种降格为国防部下属单位，同时为限制军种间竞争，国会批准参谋长联席会议设主席一职，该职务为美国武装部队中级别最高的军官。
虽然设立主席一职，参谋长联席会议的地位和作用在下降的同时并没有得到明确界定，从成立最初能够对美武装部队实施统一指挥的核心部门变为国防部顾问机构，许多权力和职能被模糊。艾森豪威尔总统曾指令洛克菲勒委员会对参谋长联席会议的作用进行调查，发现它职责不清，对国家指挥当局提供咨询的作用不力，然而调查报告并未引起美当局足够重视。1958年，美国对国防部机构进行改革，通过《国防部改组法》，明确提出应加强参联会和主席的权力，规定参联会主席拥有对参谋长联席会议事务的表决权。
1986年10月1日，美国国会通过《戈德华特-尼科尔斯国防部改组法》，规定参联会主席是总统及国防部长的首席军事顾问，可就重大问题直接向总统汇报。参联会主席获得原参谋长联席会议集体的职责，可向武装部队提供战略指导，制定战略计划、训练条令，作战及联合演习计划，评估国防预算和国防采购计划，审阅人事报告和军官晋升等。至此，参联会的权力达到前所未有的高峰并延续至今。
尽管美国参谋长联席会议的权力呈现逐步上升的趋势，但在美国文官治军的背景及全权国防部的体制下，随着《国家安全法》决定设立统一的国防部，美国参谋长联席会议地位上升的空间注定有限，其将始终被作为美国国防部的下属机构并受国防部直接领导。之后的《戈德华特-尼科尔斯国防部改组法》更是明确规定美国实行“从总统到国防部长、再从国防部长到作战司令部司令”的指挥体系，并指出参联会没有指挥作战部队的行政权力，这宣告美军大权由国防部掌管的同时，又进一步弱化参联会在军内外的地位。总的来说，与其他大国参谋机构地位和作用相比，美国参谋长联席会议相对是一个弱势机构。