北伐战争失败后，中国共产党从惨痛教训中认识到独立创建和领导军队的极端重要性。中共中央提出，进行革命战争，“必须要创造新的革命军队”。南昌起义后，各地党组织根据“八七”会议确定的实行土地革命和武装起义的方针，发动和领导湘赣边界秋收起义、广州起义等武装起义，开始了创建新型革命军队的伟大实践。1927年9月底至10月初，毛泽东率领秋收起义部队，在向井冈山进军途中进行了著名的“三湾改编”，提出“支部建在连上”，实行党的领导和民主制度，为建设新型人民军队奠定了基础。1928年4月，朱德、陈毅率领的南昌起义余部和湘南起义农军与毛泽东领导的工农革命军在井冈山会师，合编为工农革命军第四军（后改编为工农红军第四军，简称红四军），朱德任军长，毛泽东任党代表。11月，中共红四军前敌委员会成立，毛泽东任书记。红军建设的一些原则、制度和规定，在斗争实践中逐步形成和确立。

随着革命的深入和战争的发展，红四军党内对组织发动群众、创建革命根据地、党的领导原则、政治工作的作用和地位等一些原则问题，产生了不同认识，发生了争论。当时，红军长期处于分散的农村游击战争的环境，主要成分是农民和其他小资产阶级，各种非无产阶级思想主要是小资产阶级思想，经常大量反映到红军队伍中来。红军的官兵有相当一部分来自旧军队，有的不惜抛弃高官厚禄。他们在革命斗争中忠诚于党，忠诚于人民，作战英勇顽强，堪称模范，但也不自觉地带有旧军人的种种观念。在军队中实行民主制度时，产生了极端民主化的倾向。部分官兵不习惯做创建革命根据地的艰苦工作，不习惯党对军事工作的领导原则和民主集中制原则，不习惯政治工作地位的提高。一些人认为毛泽东强调党对红军的领导，实行集权制，是搞家长制；认为政治部妨碍了司令部的工作，是“卖狗皮膏药”的；认为军事高于一切，提出“司令部对外”的口号，表现出严重的单纯军事观点；不赞成红军宣传和组织群众，创建革命根据地，热衷于攻打城市，主张“走州过府”，四处游击。1929年6月下旬，红四军前委在龙岩城召开红四军党的第七次代表大会，以求解决争论的问题。但由于缺乏正确的政治观念，会议不仅没有达到预期的目的，反而造成不良的后果。会议否定了毛泽东提出的关于创建革命根据地的一系列正确意见，错误地认为毛泽东对这次争论负有“较大的责任”；会议没有选举毛泽东为前委书记，毛泽东被迫离开红军从事地方工作。此后，又召开红四军党的第八次代表大会，但仍未解决问题。

1929年8月下旬，红四军新任前委书记陈毅赴上海向中央汇报红四军的工作。29日，中央政治局专门召开会议，听取了陈毅关于红四军情况的详细汇报，深入研究讨论红四军的问题。在此基础上，形成了由陈毅起草、周恩来审定的《中共中央给红四军前委的指示信》，即著名的“九月来信”，肯定了红四军建立以来所取得的成绩和经验，明确指出毛泽东“应仍为前委书记”。10月下旬，陈毅返回红四军，向前委传达中央的指示，并邀请毛泽东回红四军工作。12月下旬，红四军在福建上杭县古田镇召开党的第九次代表大会。会上，陈毅传达中央“九月来信”精神，毛泽东作政治报告，朱德作军事报告。会议根据中央的指示精神，总结红军诞生以来的建设经验，纠正红四军党内存在的各种错误思想。会议选举毛泽东、朱德、陈毅、罗荣桓、谭震林等11人为中共红四军前委委员，毛泽东为书记；通过了毛泽东主持起草的《中国共产党红军第四军第九次代表大会决议案》，即著名的古田会议决议。古田会议的召开，是红军建设实践发展的结果，是解决在以农民和其他小资产阶级为主要成分的军队中，如何建设党领导下的新型人民军队这样一个根本性问题的历史要求。