人類會為了解救別人而承受苦難？這看起來似乎很不合理。但在斯密眼中，完全著眼於物質成本和利益的運算方式是有缺陷的。付小費給你未來絕對不會再次造訪的餐廳、以無名氏的名義捐款給慈善機構、在不期待未來將會用到血液的情況下捐血，甚至在不求金錢回報的情況下捐出一顆腎臟等行為，其實都十分合理，因為很多人是真心樂意做這些事的。

人類的道德感究竟是天生的，或是經由學習而來？心理學和哲學領域人士長久以來一直對這個疑問辯論不休。很多心理學家和哲學家主張，人類的大腦本是一片空白的石板，上面的所有內容全都是透過文化背景烙印上去的。道德是相對的，它取決於你的成長地和你被撫養成人的方式。社會心理學家強納森．海德特（Jonathan Haidt）在他新近出版的道德心理書籍《好人總是自以為是》（The Righteous Mind）一書中主張，有愈來愈多的證據顯示，道德不僅是一系列透過文化背景而烙印下來的感情。雖然斯密不是以這類用語討論這個議題，但他的框架比較接近「道德感乃天生」的觀點。斯密相信，我們的內心深植著一種尋求周遭人認同的固有欲望，所以，旁人對我們的認可和否定，會漸漸造就我們的道德感。換言之，旁人對我們的種種回應，會促使我們想像有一個無私的旁觀者隨時在評斷我們。

不管一般人是不是真的因為想像有一個無私旁觀者隨時在監督與評斷自己，才會從事令人敬重的行為，這個概念都賦予我們一個強大的自我改善工具。當我們想像有一個無私的旁觀者站在那裡時，我們就比較容易跳脫自己，把自己當成看著我們的其他人。這是一種勇氣練習，多數人平常都會規避這樣的練習，就算有練習，表現也不理想。但如果你能勇敢練習並表現良好，如果你能用更寬闊的視野，真心觀察你如何管理自己的行為舉止，你漸漸就會了解自己實際上是個怎樣的人，也會懂得應該如何自我改善。跳脫自己，就有機會獲得某些人所謂的正念（mindfulness），那是一種留意自身缺點和習性的藝術，有了正念後，你將不再對自己的缺點和不良習性視而不見。