人類天生就是自利的。所以，「愛鄰居」這件事並不是那麼容易。但斯密說，儘管我們無法像愛自己那麼愛鄰居，偶爾或許也能表現出「好像」真心愛鄰居的樣子。不過，促使我們在自身能力許可範圍內從事慈善活動的情感，和促使我們保護自己免於受傷與受苦的那種情感並不相同。促使我們照顧鄰居的那種情感，來自我們希望能讓無私旁觀者覺得滿意的一股欲望：我們想像無私旁觀者設定了一個崇高的行為標準，而為了滿足他的期待，我們的行為會變得可敬與高尚。

我曾和一個朋友討論到上帝和道德的話題。信仰上帝就能降低你犯罪或為惡的機率嗎？如果你知道自己絕對不會被逮到（也就是說，你知道自己百分之百不會因為某個罪行而被懲罰），那你又會怎麼做？所以，表面上看來，如果沒有人看守，偷竊或為惡都是合理的。但我朋友微笑著對我說，上帝會一直看著我們。

但斯密的論點是，你會一直看著自己！即便你獨自一人，而且絕對不可能被逮，你也不會偷竊，因為就算沒有人知道你在偷竊，至少你知道自己在偷東西。而當你忖度著是否要採取這個犯罪行動時，你會想像一個外部人──一個無私看著你犯罪的旁觀者──可能對你的道德沉淪做出什麼回應。換言之，你會跳脫自己，透過另一個人的眼睛來看自己的行為。

尚萬強（Jean Valjean）是《悲慘世界》（Les Miserables）音樂劇中的主要人物之一，他是個逃犯。在劇中，一個長得很像尚萬強的人被逮捕，即將被長期監禁，而一旦他被關，尚萬強將從此法外逍遙。這對尚萬強來說簡直是天上掉下來的好運──他終於可以得到自由。但面對這個誘惑，尚萬強動搖了，他自忖：「難道要放任一個無辜者代替我受罪嗎？」他拿希勒爾的疑問來問自己（那也是斯密的疑問）：「我是誰？沒錯，我只為自己著想。但我只為自己著想嗎？」尚萬強在＜我是誰＞（Who Am I?）一曲中，和內心種種利己的衝動不斷拔河──他可以得到自由，但另一個人卻將因此被監獄奴役。當然，從狹隘的出發點來看，那樣的自私心態很合理，畢竟自由絕對勝過被監禁。不過，尚萬強卻拒絕了這樣的算計。他心想，如果採取如此自私的行為，他要怎麼面對他的同胞？又該如何面對自己？唯有把自己交出來，他才能改過自新，成為自己理想中的那個尚萬強。