劉細君的祖父劉非與漢武帝劉徹，為同父（即漢景帝劉啟）異母兄弟，比劉徹大十二歲。漢景帝二年（公元前一五五年），劉非被封為汝南王，次年吳楚七國之亂時，年僅十五歲的劉非主動請纓，自告奮勇要求率軍伐吳。漢景帝賜劉非將軍印，血氣方剛的劉非越戰越勇，率部打敗了吳國。景帝遂將吳國改為江都國，封劉非為江都王，國都廣陵（今揚州），並「以軍功賜天子旗」。劉非前後守江都二十七年，他任用董仲舒為江都相，採納其「獨尊儒術」的一系列治國方略，使揚州迎來歷史上第一個經濟社會繁榮發展的鼎盛時期。劉非去世後，其子劉建，也就是細君的父親嗣為江都王。劉建從小在王宮長大，養尊處優，放蕩不羈，父親去世後，他認為江都國就是他的天下了，於是更加荒淫無度，為所欲為起來：「所行無道，雖桀紂惡不至於此。」（《漢書》卷五十三〈景十三王傳〉）更為嚴重的是，他還聯絡不滿朝廷的劉安等人，企圖謀反：「創皇帝璽，鑄將軍都尉金銀印，作漢使節二十，綬千餘。」（《漢書》〈景十三王傳〉），這些事很快就被捕風捉影、添油加醋地捅到漢武帝那裡。漢武帝遂派員前往廣陵查辦，劉建知罪不可赦，於元狩二年（公元前一二一年）以衣帶自縊身亡，其妻子，劉細君的母親則以同謀罪被問斬，除江都國為廣陵郡。
 
父母死時，劉細君還只是個剛剛學會走路的小女孩，漢武帝赦她無罪，並將她召入長安宮中派專人照顧她的起居，教她讀書寫字。由於從小聰明伶俐，且容貌秀美，所以細君很得漢武帝，也就是她的叔祖父劉徹的疼愛。到元封年間，劉細君已出落成能詩善文，精通音律，才貌雙全的大姑娘了。她養成多愁善感的個性與體弱多病的體質，但有叔祖父顧惜，日子過得還算寧靜。然而漢武帝的一紙詔書，卻讓她從此不得不告別焚香撫琴、品茗賞曲的閨房生活，走上一個完全陌生的人生舞台了。