孔子帶弟子先到了衛國，衛靈公開始非常尊重孔子，按照魯國的俸祿標準發給孔子俸粟6萬，但並沒給他什麼官職，沒讓他參與政事。孔子在衛國住了約10個月，因有人在衛靈公面前進讒言，衛靈公對孔子起了疑心，派人公開監視孔子的行動，於是孔子帶弟子離開衛國，打算去陳國。
路過匡城時，因誤會被人圍困了5日，逃離匡城，到了蒲地，又碰上衛國貴族公叔氏發動叛亂，再次被圍。逃脫後，孔子又返回了衛國，衛靈公聽說孔子師徒從蒲地返回，非常高興，親自出城迎接。此後孔子幾次離開衛國，又幾次回到衛國，這一方面是由於衛靈公對孔子時好時壞，另一方面是孔子離開衛國後，沒有去處，只好又返回。
魯哀公2年(孔子59歲)，孔子離開衛國經曹、宋、鄭至陳國，於是派服勞役的人將孔子師徒圍困在半道，前不靠村，後不靠店，所帶糧食吃完，絕糧7日，最後還是子貢找到楚人，楚派兵迎孔子，孔子師徒才免於一死。孔子64歲時又回到衛國，68歲時在其弟子冉求的努力下，被迎回魯國，但仍是被敬而不用。
孔子的家境相當貧寒。由於身處亂世，孔子所主張的仁政沒有施展的空間，但在治理魯國的三個月中，使強大的齊國也畏懼孔子的才能，足見孔子無愧於傑出政治家的稱號。
政治上的不得意，使孔子將很大一部分精力用在教育事業上。孔子曾任魯國司寇，後攜弟子周遊列國，入東周向老子請教。最終返回魯國，專心執教。
孔子打破了教育壟斷，開創了私學先驅，弟子多達三千人，其中賢人七十二，便是着名的七十二賢士。七十二人中有很多爲各國高官棟樑，又爲儒家學派延續了輝煌。這“七十二賢士”中，又數顏回，是孔子最愛的弟子。
