法布爾那一心一意夢想成功的父親，原先的期待完全落空。他似乎帶著只要開了店，不久之後就會關門的宿命。從羅德茲到孔塔省的歐里亞克，到上加隆省）的土魯茲，到埃羅省的蒙貝利耶，他們不斷輾轉搬遷。最後，在蒙貝利耶的一家人不得已只好分開居住，而當時年僅十四歲的法布爾，則要靠自己的能力討生活才行。

之後法布爾的父母都搬去和他同住。法布爾非常疼愛追隨自己腳步而成為教師的弟弟腓德烈，身後還留下了許多和弟弟往來的信件。

那時，居無定所的法布爾每天得在尼姆、波凱禾、亞維農等地四處打零工，才能勉強餬口。他在市場賣過檸檬，也和修鐵路的大人們一起工作。可是這種找不到固定的工作、餓著肚子躺在路邊睡覺的生活，對尚未成年的法布爾來說，實在太過嚴酷了。從《昆蟲記》裡可以讀到許多法布爾的幼時回憶，卻幾乎找不到與這段漂泊的少年歲月相關的記述。

在那個勞工泛濫的年代，法布爾根本不可能拿到優渥的工資。但就算日子如此困頓，也不曾忘記維吉爾及荷馬作品的法布爾，居然還把辛苦賺來的錢，拿去買勒步耳(有尼姆的「麵包店勞工詩人」之稱)的詩集，他的作品在當時很受歡迎。「應該要填飽饑餓的胃袋，還是滿足饑渴的心靈？法布爾絕對會選擇滿足心靈。即使今晚吃了麵包，他內心深處一定還是殘留著填也填不滿的角落。」（出自奧本大三郎著《博物學的巨人─亨利˙法布爾》）。

法布爾獨自朗讀著勒步耳的作品，將美麗的詩句放在唇上用以忘卻空腹。就算生活如此嚴苛辛苦，他還是想知道、想學習……他從來沒有忘記那渴求接觸美麗詞藻的心情。

在這段漂泊的人生旅程中，那些被他發現並放入口袋的甲蟲們，也帶給少年法布爾很大的鼓勵。那股不論身處何種不幸的困境絕不放棄的精神力量，在這之後也一直支撐著法布爾繼續前行。