14歲那年，潘玉良被舅舅賣到紅樓，媽咪擺擺手：“鼻子難看，嘴唇厚，臉又大，這么丑，我不要。”舅舅舔著臉說：“讓她做個打雜的，端茶、挑水、燒火都能干。”

潘玉良從小父母雙亡，只好投奔舅舅。可是舅舅好吃懶做，欠賬累累，竟把主意打到了外甥女頭上。眼看潘玉良長到14歲，連哄帶騙地把她賣到了紅樓。
潘玉良每天都想著法子逃走，可每次都被抓回來，壯漢們拿起棍棒就往她身上招呼，打得她遍體鱗傷。
媽咪讓潘玉良接客，她寧死不從。媽咪發狠了，讓手下把野貓塞進潘玉良的褲襠，用木棍猛敲野貓，野貓驚嚇亂竄，把潘玉良大腿抓得血肉淋漓。
跑不掉，潘玉良就上吊，撞墻，跳河，每次都被救了回來。媽咪怕折了本，不敢再逼她接客，改讓她學吹拉彈唱，很快就彈得一手好琵琶。
1913年，鹽商們宴請新上任的蕪湖鹽督潘贊化，找來幾位姑娘作陪，安排潘玉良彈琴。

潘玉良素手輕彈《卜算子》：不是愛風塵，似被前緣誤……若得山花插滿頭，莫問奴歸去。彈到動容之處，想起自己的身世，潘玉良不禁淚眼朦朧，哀婉中帶著不屈與抗爭。
潘贊化聽完大贊，感慨眼前姑娘不是尋常煙花女子。
鹽商察言觀色，用一頂小轎把潘玉良送到了潘贊化的住處。潘贊化可不是那么容易被收買的，“我沒有這個愛好，送姑娘回去吧。”
潘玉良趕緊從轎中跳下，跪在他面前：“大人，求求您，讓我留下吧，回去我會被打死的。”說完已是淚流滿面。
潘贊化動了惻隱之心，就把潘玉良留下了，收作侍女。相處了一段時間，潘贊化更覺得她與眾不同，決定娶她為妻。

潘贊化父母不同意：“潘家子孫，怎能娶一個煙花女子，有辱門風！”
潘贊化據理力爭，潘玉良非常感動，主動提出可以作妾。為表尊重，潘贊化特意請來摯友陳獨秀當證婚人。
婚后，潘贊化帶潘玉良到上海定居，還專門請老師給她上課。潘玉良如饑似渴地學習，見識大漲。
住在他們家隔壁的洪野先生，是美術教師。潘玉良經常看他畫畫，還拿起畫筆臨摹，竟畫得維妙維肖，洪野先生大驚，于是收她為徒，教她學畫畫。
1918年，潘玉良報考上海美術專科學校，成績優異卻落榜了。有人說她是煙花女子，不能錄取。一名女生直接要求退學，“不會與ji女同校”。
潘贊化不服，找校長劉海粟說情，劉海粟大筆一揮，在榜上加了她的名字。

入學后，潘玉良學得非常刻苦。“我只能畫畫，就像溺水的人只能掙扎！”
學習人體畫的時候，潘玉良久久不得法，很是苦惱。一次在浴室洗澡，突然靈感來了，立刻跑回去拿來畫筆作畫。被人發現了，圍住她一頓暴打，潘玉良把畫稿壓在身下，死死地護住。
世俗不容，沒有模特，潘玉良就畫自己。回到家里，褪去衣服，她對著鏡子里的自己全神貫注地臨摹起來。
1921年，潘贊化出錢送潘玉良去法國深造，先后在里昂中法大學、羅馬美術學院學習繪畫。在歐洲，潘玉良的作品入選了意大利大型畫展，是早期獲此殊榮的中國人。
1926年，潘玉良學成回國。應劉海粟的邀請在上海美術專科學校任教，成為中國近代史上早期西洋畫女老師。
同年，潘玉良舉辦個人畫展，共展出兩百多件作品，引起了畫壇的轟動。《潘玉良畫冊》就是這時候出版的。

就在此時，潘贊化的大夫人來了，“國有國法，家有家規，大主小卑，千古常理，不要以為當了老師就可以同我平起平坐。”
潘玉良想了很久，不由地同情潘贊化了，“倒是難為了他呢！”為了潘贊化她心軟了，屈服了，對著大夫人跪下了。
日本侵華戰爭開始了，潘玉良為義賣四處奔走，但是誹謗、污蔑對她從未停止過。
1936年，潘玉良舉辦畫展，油畫《人力壯士》引起轟動，官員王雪艇以1000大洋定下這幅畫。沒想到當晚《人力壯士》被人貼上字條：ji女對女票客的頌歌。
這是女人的悲哀，把脫下的衣服一件一件穿回來，多么地屈辱，何況潘玉良當年只是紅樓里的下人。但人們早已給她打上標簽：ji女，小妾。
無奈之下，潘玉良只得告別愛人潘贊化，再次去往法國。這一去，就是永遠，再也沒有回來。
1937年，潘玉良在法國定下了三條規矩：一不戀愛，二不入外籍，三不簽約畫廊。
由于不肯賣好的作品，她的生活顛沛流離，吃了上頓沒下頓。但她仍然堅持繪畫，從未放棄,創作了不朽的作品《中國女詩人》。
在法國，潘玉良遇到了開餐館的王守義，他時常接濟潘玉良。王守義一直守護著潘玉良，還出資幫潘玉良辦畫展，潘玉良在法國名氣大增。

但他們只能做相守一生的朋友，潘玉良說:“我是有夫之婦，雖和贊化天各一方，但我們心里都彼此想著對方。”
自從1937年出國之后，潘玉良再也沒能回國，1959年潘贊化去世，兩人沒能見上一面。
1977年，潘玉良病逝于法國。她臨終囑托王守義，一定將他與潘贊化結婚時的項鏈、懷表交給潘家后人，還有她的作品要運回祖國。
1984年，潘玉良的4000多件作品飄洋過海回到了祖國的懷抱，完成了她的遺愿。
潘玉良的出身低到了塵埃里，一生跌宕起伏，磨難從未放過她。
但她從未放棄過與命運的抗爭，以她的堅韌與不屈，以她的蓋世才華，得到了世人的尊重與敬仰，成為一代名家。