在我看來，《往事與隨想》前一部分對19世紀俄羅斯社會的描述很生動，而後一部分對作家自己的生活和婚姻的敘述，以及流亡生活的記錄可謂意味深長。
1834年8月的一天，普列契斯欽區警察分局局長米勒逮着幾個人來到赫爾岑家，他們帶着總督的命令，搜查他的書和衣服，局長查看他的信件，然後將赫爾岑帶走。
赫爾岑被逮捕的罪名純屬莫須有。1834年6月26日，一個學生爲了慶祝自己大學畢業，設宴招待他的朋友。他們喝多了酒，開始跳瑪祖卡舞，然後一起合唱了罵沙皇的歌曲。晚上，臥底斯卡利亞特忽然想起，這是他的命名日，於是請大家到他家裏喝香檳，五六個人喝得搖搖晃晃，再次合唱這首罵沙皇的歌曲，唱到一半，警察走進了他們的屋子。
但是，警察想抓捕赫爾岑等人，於是捕風捉影，捏造證據，這五六個人的案子，株連了20個無辜者。過了兩週，赫爾岑等人因爲與宴會事件有關而被捕，警察在索科洛夫斯基家查到了薩京的信，在薩京家查到了奧加遼夫的信，在奧加遼夫家查到了赫爾岑的信，但不得要領。
由於初審沒有結果，沙皇從彼得堡派來了最得力的特務之一的小戈利岑來當審判官，莫斯科城防司令斯塔阿爾是首席法官。斯塔阿爾分析案情後認爲，慶祝宴會的案件，警察應該懲處相關人員;另一些人的全部罪證只是一些尚未明確表示過的意見，根據這些定罪很困難，也很可笑。但是，他的意見遭到小戈利岑的反駁，兩人爭得不可開交。斯塔阿爾很氣憤，聲稱“您可以隨心所欲亂幹，但我不能跟着您造孽，我的腳絕不再踏進委員會。”
次日早上，斯塔阿爾向沙皇彙報了情況，沙皇希望他繼續到委員會去，斯塔阿爾說，“皇上，請憐惜我的白髮吧，我活到這年紀沒有一個污點。我的忠心，陛下是知道的，我的血，我的餘年都屬於陛下。但這件事關係到我的榮譽——我的良心反對委員會中所幹的事。”沙皇尼古拉一世皺眉，斯塔阿爾告退，之後再也沒有去過委員會。
委員會工作了九個月，還是對案情一無所知。最後，委員會宣讀了沙皇的聖旨，稱特別注意到罪犯們年輕無知，下旨免除法庭審理。按照罪犯們的罪行，按法應當處死，從輕處置也要流放從事苦役。但皇上寬宏大量，慈悲爲懷，決定對大部分罪犯不加追究，允許在原地居住，由警察看管。對罪重者感化，無限期送往邊遠省份擔任文職工作，由當地長官管教。而罪重者包括六人，其中，赫爾岑被流放到很遠的彼爾姆，隨後又被調往維亞特卡省，在省政府辦公廳工作，之後又被調往弗拉基米爾，然後纔到了彼得堡。
作爲貴族和西方派，赫爾岑希望俄羅斯繼續沿着彼得一世的方向改革。但是，他也看到了彼得一世改革不徹底帶來的後果：官僚階層弄虛作假，不學無術，貪得無厭，掠奪民財。他隨後在諾夫哥德省任參議的工作經歷，簡直令人啼笑皆非。
諾夫哥德省省長是埃尓皮季福·安寄奧霍維奇·祖羅夫。赫爾岑動身前，他正在彼得堡。赫爾岑和他交談了半個小時，他殷勤地把赫爾岑送到門口。到了諾夫哥羅德以後，赫爾岑去拜訪他，他向赫爾岑說明，他不允許參議發表意見，或者在公文上保留自己的觀點，這對於公務不利，如果有奮起，可以商量，一旦不能統一，那麼雙方必有一方應該辭職。赫爾岑笑了笑告訴他，辭職是自己任職的唯一目標，自己到這裏當官是迫不得已，大概不會有機會發表意見。
一個參議一年的薪水是1200紙盧布，不夠一個有家的人開銷。赫爾岑負責第二處，既不參與分贓，也不想撈錢，底下人看到他生長關係不好，於是沆瀣一氣，互相包庇，不把赫爾岑放在眼裏。
更荒謬的事情發生了。赫爾岑作爲第二處參議，要審閱警察局長就他本人三個月一次的彙報，因爲他處在警察的管制下。警察局長在操行欄什麼都不填，在職業欄填寫的是“在國家機關供職”。此前，在託博爾斯克省，文職省長與副省長不和，兩人利用公文互相攻擊。作爲被控制使用的官員，赫爾岑竟然需要審閱警察監督自己的報告，俄國君主制下官僚體制的愚蠢，由此可見一斑。
1842年7月，赫爾岑一家帶着使女卡捷琳娜回到了莫斯科。一天深夜，赫爾岑赴宴回來，卡捷琳娜爲他開門，此時天已黎明。赫爾岑陶醉於她的美貌，兩人有了男女關係。出於內疚，赫爾岑將此事告訴了妻子納塔莉亞，妻子因此非常悲痛，情緒越來越憂鬱。沒過幾年，赫爾岑的出軌似乎招來了報應。
1846年，赫爾岑的父親病逝，1847年後，赫爾岑一家移居歐洲。1848年6月，德國詩人黑爾韋格闖入了赫爾岑一家的生活，他們往來密切。黑爾韋格靠妻子埃瑪供養，她是一個銀行家的女兒，讀過他的詩歌后愛上了他，並大膽進攻。儘管埃瑪容貌奇醜，粗聲粗氣，但黑爾韋格，接受了婚事，併爲嫁妝做了詳細而明確的談判。1848年底，黑爾韋格幾乎每晚都住在赫爾岑家裏。稍後，他和納塔莉亞產生了私情，納塔莉亞既怕赫爾岑出走，也怕黑爾韋格離開。赫爾岑趕走了黑爾韋格一家人。其後，黑爾韋格不斷給納塔莉亞和赫爾岑寫信，甚至說自己要自殺。赫爾岑勸納塔莉亞給黑爾韋格回信，說她同意，他除了自殺沒有別的出路。但黑爾韋格又回信說，這些話來得太遲，他目前已經改變主意，沒有足夠的力量實行這件事。這讓納塔莉亞一下就看輕了他。
到1851年，赫爾岑和納塔莉亞終於修復了感情的裂痕。但黑爾韋格不斷誹謗赫爾岑。黑爾韋格的卑鄙使得納塔莉亞對他從蔑視變成了憎恨。她給雙方共同朋友唸了自己給黑爾韋格的信，他們都看清了黑爾韋格的無恥。
1851年，赫爾岑的母親和兒子在海難中身亡。次年，納塔莉亞因病過世，赫爾岑移居倫敦。他開始寫作《往事與隨想》，並先後出版《北極星》和《鐘聲》。儘管對西方失望，但赫爾岑從來沒有投入俄羅斯專政的傳統，正因於此，赫爾岑誕生百年之際，列寧在《紀念赫爾岑》中，把他納入了布爾什維克的思想譜系，稱其爲“舉起偉大的鬥爭旗幟來反對這個惡棍(沙皇君主制)的第一人。”
