1964年12月20日，举行了一次小范围的政治局扩大会议。刘少奇在讲话中谈到当前运动中四清与四不清的矛盾是主要的，运动的性质就是人民内部矛盾与敌我矛盾交织在一起。毛泽东听到这里，忽然打断刘少奇，当即反问：什么性质？反社会主义就行了，还有什么性质[19]？毛泽东随即严厉指责四清运动中的「大兵团作战」、「扎根串联」等方法。

过了几天，12月26日，毛泽东又在他的71岁生日宴会上不指名地指责刘少奇：我是没有下去蹲点的，所以没有什么发言权，什么四清四不清，党内外矛盾的交叉？这是非马克思主义的；中央有的机关搞独立王国，党内有产生修正主义的危险云云。[20]

江渭清在回忆中提到，就在会议期间，毛泽东找江渭清面谈，问到他对刘少奇的批评检讨了没有？毛泽东话中有话地说：「没有什么了不起，就是这么一回事。你感到批评对的，就检讨；不对的，就申诉；申诉还解决不了，就等历史作结论。」也许毛泽东已觉得再没有必要搞障眼法，干脆把与刘少奇的矛盾在江渭清面前挑明。会议期间，毛泽东当着江渭清和刘少奇的面，直截了当地说：「少奇同志给你的一封信，是错误的。你的意见是对的，少奇意见是错误的。」

接下来的，就是毛泽东向刘少奇的连番进攻。1964年12月28，1965年1月3日、5日，毛泽东连续攻击刘少奇，最后以《二十三条》文件的形式将毛指责刘少奇的观点纳入进去。刘少奇在毛的进攻下，节节败退，其威信遭到沉重打击。

从1965年1 月起，在形式上，刘少奇虽还是中共第二号人物，但是在党内地位已日益衰弱。据其它资料透露，1965年初，刘少奇在周恩来、贺龙找他谈话希望他主动向毛泽东致歉后，曾找机会向毛泽东作了「自我批评」。毛似乎宽谅了刘。在这此后的一个小型会议上，毛泽东当着一些领导人的面说：「我批评了少奇同志了，但你们今后还是要听他的话哟！」[21]

然而，这是毛泽东故意施放出的烟幕弹，毛泽东已决定要搞掉刘少奇。1965年夏，刘少奇接班人地位将由别人取代的消息，已在极小的范围内传出。据王稼祥夫人朱仲丽回忆，1965年秋，周恩来奉毛泽东命去看望已赋闲几年的王稼祥，周恩来对王稼祥说，接班人可能是林元帅和邓总书记。[22]

1965年11月，毛泽东离京，开始他「伪游云梦」，密谋倒刘的部署。不久，中南海的刘少奇办公室收到一份无抬头、无署名，打印在一张白纸上的毛泽东在外地与几位负责人的谈话记录。这份文件是哪一个地方领导人通报给刘少奇的？近年披露此则消息的是刘少奇当年的机要秘书，但他未加以说明。据这份神秘的文件记载，毛泽东在谈到四清运动时说：「王光美在河北省搞四清，河北省领导不了，华北局也领导不了，是他（指刘少奇）亲自领导的。他有他的长处，我有我的弱点。他有一股硬劲，我爱妥协。我说不行，他说行。……他是第一副主席，瞒不住他……。」[23]

毛泽东的这番话扑朔迷离、暗藏玄机，对王光美的不满是明白无误的了。「我说不行，他说行」，是指刘少奇支持「桃园经验」，毛反对「桃园经验」，还是别有所指，毛故意闪烁其辞；「他是第一副主席，瞒不住他」，是否暗示不要把他的话传给刘少奇？总之，毛为搞掉刘，实际上已向地方官员「打招呼」了。

据《江渭清回忆录》记载，毛泽东1965年11月16日来到南京，江渭清向毛汇报时仍说要「按照」毛主席的指示和少奇同志信的精神进一步检查省委的工作作风，毛泽东大为惊讶，问道：「你们还要做检讨？」江渭清按照官式语言回答：「主席的指示，少奇同志对我的批评，给我教育很大，每检讨一次就有一次的收获。」

江渭清在毛、刘之间四平八稳的态度，无疑使毛泽东更坚定了把刘少奇搞下台的意愿。自1964年12月，毛泽东当面向江渭清表明他对刘少奇的不满，已经过去一年，地方大员仍将刘少奇奉为神明，依旧按照党内的某种统一风格，在说着「老话」，这一切都令毛泽东对由他一手创造的庞大的党机器产生出强烈的排斥。在毛想象中的世界里，刘少奇已严密控制了全党，而毛泽东的话已到了差不多没人听的地步。刘少奇下台后，毛泽东在历数刘少奇「罪状」时，曾经提到刘少奇责难江渭清一事。1966年10月24日，毛在中央工作会议期间召开的汇报会议上，指责「少奇说江渭清蠢，他自己就聪明了吗？」[24]（有关文革期间毛泽东为刘少奇给江渭清信指责刘少奇一事，在江渭清的回忆中只字不提）。看来，围绕刘少奇给江渭清信所发生的一系列事情，对毛刺激颇深，这也是毛泽东在扳倒刘少奇后，仍将各级领导干部「一锅煮」的原因之一。江渭清在回忆录中写道，在文革中，毛同意「点名」批判江渭清，但又不要将老干部完全打倒，这使他感到费解。其实，毛只是要「教育」他们一番，要他们为昔日「听少奇的话」付出代价。

在1964年末至1965年初，围绕四清问题的争论中，毛泽东与刘少奇孰是孰非？一般认为，刘少奇反对毛泽东提出的「走资本主义道路当权派」的概念，乃是为了保护干部。然而事实上，刘少奇在1964年提出的一系列概念，其言辞之左，与1947年刘少奇主持老区土改的过左政策如出一辙。1964年在大陆各城巿普遍上映的电影《夺印》，和被四清工作队员视为「干部必读」的陈登科的小说《风雷》，均反映了刘少奇当时左的观点。刘少奇虽没有提出「走资派」的概念，但其左的精神与毛泽东并无二致。正是因为刘少奇的左调与毛的左调基本合拍，当时参加制订《二十三条》的各地负责人，对该文件中提出的「运动的重点是整党内走资本主义道路的当权派」，并无特别的感觉。

1964年，刘少奇意欲在毛的框架下搞出新花样，并试图抗衡林彪。然而，在毛划的小圈圈内做文章又谈何容易？刘少奇的迂回天地狭窄，注定跳不出毛的如来佛掌心。刘少奇本欲求神，却把灾难请下来，这也是刘少奇始料不及的。

在中共核心层领导中，刘少奇素有个性谨严、善于自制的名声，其实刘少奇的谦和多表现在他受毛泽东的指责以后。1953年高岗四处游说反刘，当毛拋弃高岗后，刘少奇仍坚持要在中共七届四中全会上做自我批评。1965-1966年文革前夕，刘少奇更是表现得特别平和、低调，他知道毛泽东对其不满，但没有任何「抵抗」的举动，而是一有机会就进行检讨。