1960 年“批譚事件”后，譚政的職務是一降再降，先是從解放軍總政治部主任降為了副主任，接著又被撤銷了中央書記處書記、軍委常委、國防部副部長等職務，并降薪兩級。

按理說，林彪作為譚政昔日的老上級、老戰(zhàn)友，不應該這樣痛下狠手，但當時的林彪已經(jīng)在“左”的方面越走越遠，而譚政又為人剛毅正直、堅持真理，對這位老上級的一些做法、行為表示不理解，甚至是反對，而其中最典型的便是他反對林彪提出的“三八作風”，以及在軍委擴大會議上“頂撞”林彪。

但無論是反對“三八作風”也好，還是在會上“頂撞”林彪也罷，譚政不過是基于實事求是的原則罷了。而所謂的“頂撞”，也不過是他為自己的那些莫須有的罪狀所作的申辯而已。但在當時的歷史背景下，譚政最終還是免不了受到打擊。

然而，事情遠沒有結束，這不過是譚政晚年坎坷命運的開端而已。

1964年，譚政奉命分管民兵的政治工作。為了把工作做好，他經(jīng)常深入基層搞調(diào)查研究，并根據(jù)收集到的資料寫出了關于民兵工作的報告。然而，讓人萬萬沒有想到的是，這份報告竟受到了林彪的嚴厲指責。

譚政在報告中提出的“三依靠”觀點，被林彪指責說與毛主席的“三落實”（即民兵工作三落實：組織落實、政治落實、軍事落實）指示相對抗。

直到此時，譚政才終于明白，自己的這位老上級、老戰(zhàn)友已經(jīng)不是痛下狠手那么簡單了，而是欲置自己于死地。盡管自那次會議之后他們就沒有見過面，但似乎這位老上級并不打算就這樣放過他。

1965年11月的一天，譚政接到了新的任命通知，到福建擔任副省長一職，并要求其全家在年底前離京。從副國級到副省部級，如此巨大的落差實在令人難以接受，但或許對于譚政來說，這也未嘗不是件好事，畢竟遠離了林、遠離了斗爭的中心，而且還可以繼續(xù)為黨和人民工作，也算是“因禍得福”了！

但好景不長，1966年“特殊時期”開始后，譚政還是不可避免地受到了沖擊，此后被關押了近9年的時間，期間還換過好幾個地方，飽受折磨。

1971年“九一三”事件后，大批冤假錯案得以平反昭雪，很多被打倒的老同志也都陸續(xù)恢復了工作，但譚政的境遇依舊沒有多大改變，直到1975年春節(jié)前后，在毛主席的關注下，他才得以被釋放出獄，恢復了自由。

譚政出獄后的第一件事就是解決工作問題。9年的牢獄生活使他沒能好好的為黨和人民工作，他太想重新回到工作崗位上去了。為此，他專門寫了一封信給葉帥，請求安排工作。

葉帥收到信后，當即便轉給了當時已經(jīng)復出，并主持黨、國家和軍隊日常工作的鄧公。鄧公看完信后，很快便作出批示并報給毛主席：“主席，譚政無大錯，建議安排到軍委當顧問”。毛主席批示同意。

1975年8月，譚政終于如愿以償?shù)幕謴土斯ぷ鳎沃醒胲娢檰枺俅未┥狭诵膼鄣能娧b。

可能有人會說，譚政好歹是開國大將，又當過總政治部主任，怎么不安排一個“實職”，而要安排一個“顧問”職務呢？事實上，這正是鄧公的高明之處。

首先，經(jīng)過長達9年的牢獄生活，譚政出獄后身體狀況已大不如前，當時基本不能工作；其次，雖然譚政已被釋放，但尚未平反昭雪、恢復名譽，所以，安排實職是不妥的。而鄧公建議任命其為中央軍委顧問，實際上是對他名譽的恢復，而這也為后來平反昭雪奠定了基礎。

1978月，時年71歲的譚政當選為第五屆全國人大常務委員會委員、人大法制委員會副主任。1980年，中央對譚政當年受到的政治誣陷給予平反，恢復了名譽。

1986年6月14日， 譚政將軍80歲生日這天，時任國務院副總理兼國防部部長的徐向前元帥發(fā)來生日賀信，信中對他給予了高度評價：“您對人民軍隊的政治工作的建樹，您對革命的功績，是永不磨滅的”。譚政大將看后，不禁感動得熱淚盈眶。

1988年11月6日，譚政大將走完了他精彩而傳奇的一生，享年82歲。