1965年春日时节，北京中南海内，彭德怀早已离开了国防部长的职务，白发苍苍，生活重心从政治军政中心逐渐转向了相对孤独的日常。他的心思此时正逐渐向西南地区的战略建设转移，而组织上也在考虑给予他新的工作安排。尽管彭德怀拥有丰富的工作经验，但他对转至工业部门的想法持有保留，认为自己在这一领域并无实际优势。他一贯的态度直白且明确，致使讨论不欢而散。临走时，他留下了一句：“我要见毛主席。”随后便离开了。

这句话迅速到达了毛泽东的耳中。出人意料的是，毛泽东并未回避，反而通过秘书与彭德怀约定了见面的时间——晚上8点半。对于彭德怀而言，这次会谈既是意外也是必然。自从庐山会议后，双方关系已有所变化。1959年7月2日，中共中央八届八中全会在庐山召开，会议的初衷是总结“大跃进”的经验教训。毛泽东在会议初期提到需对工作中的问题进行检讨，鼓励大家直面现实。

彭德怀对此十分重视，他没有仅仅停留于表面问题，而是结合自己在湖南的观察，写了一封信于7月14日递交给毛泽东。其中，他既认可取得的成就，也对出现的浮夸作风和人民公社化运动的一些问题进行了批评。他希望将问题摆上桌面进行讨论，却未曾想到这封信在会议内部经历复杂后，变成了对党的路线与中央高层的挑战。7月23日，毛泽东在庐山大会上发表讲话，会议气氛转向对彭德怀的批判。

彭德怀一向直言不讳。他这一特质在战争时期和建国之后都未曾改变。然而在政治气氛紧张的会议中，直率的话语极易被解读为对抗，其具体批评也可能被夸大为政治问题。庐山会议后，彭德怀被撤职，林彪接管国防。离任时，彭德怀说道，他不会反革命、不会自杀，也不会依靠外国人生活，这些话语虽显坚决，却也反映了他对未来的清醒认知。

随后，彭德怀居住在中南海的永福堂。到了1959年10月，他请求搬出中南海。杨尚昆向毛泽东汇报后，毛泽东认为既然彭德怀想搬，就另觅合适的居所。于是，他搬到了中央党校东侧的吴家花园，过上了安静的生活。尽管居所有所改变，但心里的困惑并未消失。1961年，彭德怀重访湖南和陕西，接触了乡镇干部和人民，力图了解真实的民生。他把所见所闻记录下来，希望借此证明，庐山会议上的发言并非出于私心。

调查后，彭德怀提交了报告，但并没有得到应有的解释，事情的发展并未如他所愿。一个习惯直言的人，面对这种沉默，内心的煎熬胜过公开争论。1961年至1962年，他花费大量时间整理材料，最终形成了一份八万字的申诉书，详尽阐述了庐山会议前后的事情及自己的思考，后被称作“八万言书”。他反复修改，逐段核对，细节清晰。然而，这些文字未能立刻改变现状，彭德怀仍旧处于限制活动的状态，政治生活依旧未恢复。到1965年，他在吴家花园的生活已久，种菜、读书，表面上看似简单，实则内心承受着巨大压力。

这次与毛泽东的会面，毛泽东首先打破沉默，他注意到彭德怀比几年前显得更加苍老，于是说道：“几年不见，你显老了。”彭德怀不跟着话题聊起身体健康，而是自嘲回应：“我现在可是无事不登三宝殿喽。”这句接话意含不轻，既是调侃，也在暗示：平常若无事求教，恐难再见到毛泽东。毛泽东理解其深意，转而谈起彭德怀在工业部门工作的安排。

彭德怀依旧直言，表明他对工业并不熟悉，愿意在农业方面工作。针对这个突如其来的请求，毛泽东并未争辩，表示可以考虑并同意相应的工作安排。虽然会谈时间不长，却对彭德怀的未来产生了重要影响。随后他前往西南，参与了建设和农业工作。当时，彭德怀已67岁，身体和政治处境都与以往不可同日而语，但他始终坚持依照个人的理解选择工作方向。几天前的中南海会晤，成为彭德怀与毛泽东最后一次的亲密交流，之后再无机会面对面交谈。