聯覺可能有遺傳因素，因為它有家族特性，而且在大多數文化裡都可看到一些例子。還有一點也很重要，神經學家已經證明聯覺並不只是一種隱喻胡扯，不是像我們說的「好吵的襯衫」和「好利的切達起司」。檢測顯示，這些人的腦部確實是以不同方式運作。其中一項實驗是，有一張紙上寫滿了鬧鐘數字「5」，中間還穿插了一些鬧鐘數字「2」。一般正常人會發現，如果不是一個一個找，要從頁面裡把「2」挑出來幾乎不可能。但是對聯覺者而言，每個「2」都會像彩色片一樣立刻自動跳出來。（有點像色盲測試時數字自動跳出來那樣。）另一個實驗是，如果你給一名聯覺者看用一排排小8組成大4，那個圖案的顏色就會跳來跳去，端看受測者是把焦點放在整體（4）或像素（8）上。其他測試則是會讓聯覺者有些侷促不安。基本上，正常人要解讀任何顏色的文字都沒什麼困難。但對聯覺者而言，顏色「錯誤」的數字或字母就有可能誤導他們或擊敗他們，因為頁面上的顏色正在跟他們腦海中的顏色打仗。

神經科學家大體知道聯覺是如何起作用：肯定是處理某一感覺的神經元迴路不小心亂打到處理另一感覺的迴路，造成這兩種迴路同時嗡嗡忙碌。但事實證明，要判定這種情況究竟是怎麼發生的，卻是非常棘手。目前有兩種可能的解釋：一是解剖上的，二是機能上的。解剖論怪罪童年時期神經元的整枝做得不好。所有嬰兒的神經元數量都超過他們的需求；而這些神經元也都有過多的軸突和樹突。（因此，幼兒大概隨時都能體驗到聯覺。）隨著小孩長大，某些神經元會開始一起發射一起串聯，這些活躍的神經元可以保持健康。在這同時，沒用的神經元會挨餓死掉。過量的分枝也會開始整枝，就像電線附近的楓樹一樣。這種毀滅聽起來有點殘酷，像是神經元版的達爾文主義，但它可以讓倖存下來的神經元組成更緊密、更強健、更有效率的迴路。聯覺者的大腦或許就是整枝工作做得不夠好。也許他們的大腦把多餘的連結留在原地，所以串聯到不同的感官區域。