卡扎菲從學生時代起就是埃及已故總統納賽爾的虔誠信徒和狂熱追隨者。納賽爾的阿拉伯統一、阿拉伯民族主義、阿拉伯革命、阿拉伯社會主義等思想和實踐對卡扎菲產生了極爲重要的影響。
青年時期的卡扎菲就極力主張實現阿拉伯統一。他說，早在伊斯蘭教創立傳播時代，伊斯蘭教創始人就爲阿拉伯統一奠定了基礎。阿拉伯國家之間的邊界是人爲的，應該取消。阿拉伯世界出現的問題是由於阿拉伯民族分裂造成的，只有實現阿拉伯統一才能解決這些問題。他還認爲，要徹底解決中東問題，實現巴勒斯坦的解放，就必須摧毀以色列。而要實現這一目標，就必須實現阿拉?的統一，建立一個統一的阿拉伯國家集團。爲此，他把實現阿拉伯全面統一作爲他的奮鬥目標和歷史使命，並視爲利比亞的歷史責任。他曾提出成立“阿拉伯聯邦”方案，爲與一些國家實現統一作出了努力，但也有不少痛苦的實踐。
利比亞“九·一”革命爆發後，埃及總統納賽爾即派埃及《金字塔報》主編海卡爾飛往班加西，探聽“九·一”革命及其新領導人的情況。卡扎菲在接見海卡爾時說：“請告訴納賽爾總統，我們爲他發動了這場革命。他可以把我們的一切都拿去，我們不打算統治利比亞，現在應該由納賽爾總統把這個國家親自接管過去，加入進步?營。”
利比亞“九·一”革命爆發三個多月後，也就是在1969年12月，卡扎菲赴摩洛哥首都拉巴特出席伊斯蘭國家首腦會議，這是他執政後第一次出席國際會議。他在會上感受到阿拉伯國家和伊斯蘭國家間存在着嚴重分歧，令他痛心，從而增加了他爲促進阿拉伯統一的使命感和迫切感。卡扎菲主動邀請納賽爾總統和蘇丹尼邁裏總統赴利比亞共商加強團結，實現統一大業。1969年12月7日，卡扎菲同納賽爾總統及尼邁裏總統在的黎波里簽署《的黎波里憲章》，旨在建立緊密的革命同盟。1970年9月28日，納賽爾總統因突發心臟病逝世，這對卡扎菲是一個沉重的打擊。
卡扎菲繼續努力推動阿拉伯統一事業。在他的建議下，他於1970年11月赴開羅，與納賽爾的繼任者薩達特總統及尼邁裏總統舉行會議，協調三國的政策。卡扎菲建議，擬訂一個建立總的阿拉伯聯邦方案，但因難度太大而擱淺。
1970年11月，敘利亞國防部長兼空軍司令阿薩德發動“糾正運動”。阿薩德掌權後，對阿拉伯聯合統一表現出較大興趣，表示願參加利比亞、埃及、蘇丹三國首腦就統一問題舉行的會談。同年11月晚些時候，敘利亞加入在利比亞班加西就統一問題舉行的會談，並擬就了實現統一的草案。
1971年4月，利比亞、埃及和敘利亞三國一致同意組成阿拉伯共和國聯邦。當時，儘管蘇丹收到邀請，但尼邁裏總統因被國內問題所困擾而未能與會，蘇丹也就沒有加入阿拉伯共和國聯邦。由埃及、利比亞、敘利亞三國元首簽署的關於成立阿拉伯共和國聯邦的協議規定，該聯邦統一使用一面國旗、一個國徽和一首國歌;三國元首組成聯邦總統委員會，負責任命聯邦總統，每屆總統任期2年;成立聯邦委員會，由60人組成，每國20人，任期4年;由聯邦總統負責成立最高立法委員會。1971年9月1日值利比亞“九·一”革命兩週年之際，三國就成立阿拉伯共和國聯邦方案舉行公民投票，埃及的贊成率爲99.9%，利比亞的贊成率爲98.6%，敘利亞的贊成率爲96.4%。根據投票結果，三國宣佈成立阿拉伯共和國聯邦。1971年10月4日，該聯邦三位領導人在開羅舉行會議，薩達特當選爲聯邦首任總統，開羅定爲聯邦首都;確定該聯邦於1972年1月1日正式成立。阿拉伯共和國聯邦成立後，三國元首簽署的協議並未得到認真實施，聯邦機構形同虛設，聯邦國家徒託空言。
1972年2月，薩達特出訪途中在利比亞逗留，卡扎菲向薩達特提出埃及與利比亞實現全面聯合的想法。在卡扎菲的一再催促下，薩達特同意於1973年9月之前建立統一的國家，首先成立統一政治指揮部，以便分階段實現兩國的合併。爲此，雙方於1972年9月成立了許多混委會，囊括了立法、外交、新聞等方面300位專家，爲實現全面統一進行籌備工作。1973年6月薩達特赴的黎波里參加利比亞撤軍節三週年慶祝活動，與卡扎菲就全面統一問題舉行會談。此後，卡扎菲頻頻接見訪問利比亞的埃及各代表團，喋喋不休地談論利比亞與埃及合併問題。
1973年7月，卡扎菲與薩達特達成原則協議，規定就兩國實現合併問題舉行兩次公民投票。第一次公民投票定於1973年9月舉行，旨在確定兩國合併的原則和基礎;第二次公民投票定於1974年9月舉行，旨在確定合併後國家的新憲法和選舉新總統等事宜。
卡扎菲急於實現利比亞與埃及的全面合併，但他也覺察到，薩達特對這種合併缺乏應有的熱情，只是敷衍搪塞而已。於是，卡扎菲於1973年7月發動了一場奔赴開羅的“人民進軍”，目的是迫使埃及接受立即合併。開始，進軍隊伍僅數千人，迅速增加到兩萬人，後又成倍增加。薩達特聞訊後，立即發電給卡扎菲，要求他採取明智而堅決的態度，制止這場進軍活動。7月19日，薩達特派埃及社會主義聯盟總書記哈菲茲·加尼姆作爲密使前往的黎波里，要求卡扎菲採取行動立即制止這次“人民進軍”。7月20日，開羅公佈了卡扎?已於7月11日辭職的消息，並封鎖了利比亞“人民進軍”隊伍前進的道路。7月21日，利比亞革命委員會表示拒絕卡扎菲辭職，要求他收回辭呈，但無濟於事。在此情況下，利比亞革命指揮委員會提出集體辭職。7月22日，利比亞參加“人民進軍”的隊伍返回的黎波里，會同其他遊行隊伍，一道要求卡扎菲收回辭呈。7月23日，卡扎菲宣佈收回辭呈，並發表講話說，利比亞同埃及的統一勢在必行，甚至不惜以打一場內戰爲代價。他還說，當今埃及腐敗之風盛行，裙帶關係、文牘主義嚴重，剷除這些現象的惟一辦法就是發動一場人民革命。
此後，利比亞與埃及進行了多次談判，卡扎菲與薩達特也專門就統一問題舉行了會晤。1973年8月29日，兩國統一政治指揮部宣佈了一系列紙面上的統一措施，計劃於9月1日實施。同年9月10日，雙方成立最高計劃委員會，並決定兩國由“駐節部長”分別取代駐的黎波里和開羅的雙方大使。
1973年10月6日第四次中東戰爭爆發，卡扎菲對沒有讓他參與戰爭的祕密策劃而耿耿於懷，對薩達特多有微辭。戰後不久，薩達特在美國國務卿基辛格斡旋下開始同以色列舉行脫離接觸談判，埃及逐步走上和平談判的道路，卡扎菲對此極爲不滿。雙方分歧日趨嚴重，卡扎菲飛赴開羅試圖勸說薩達特放棄和談計劃，以彌合裂痕，但未能奏效。隨着事態的發展，利比亞與埃及之間的關係進一步惡化，兩國領導人公開互相攻擊。卡扎菲斥責薩達特是叛徒、投降主義者，背棄了納賽爾的傳統。薩達特斥罵卡扎菲神經錯亂，頭腦發育不健全，是瘋子。不言而喻，利比亞與埃及之間的合併統一計劃就湮滅在這脣槍舌劍之中了。
利比亞與突尼斯在統一問題上的戲劇性演變也是人們津津樂道的話題。鑑於突尼斯是利比亞近鄰，卡扎菲對與突尼斯發展關係給予特別關注。1971年2月，卡扎菲對突尼斯進行第一次訪問。1972年12月，卡扎菲再次訪問突尼斯，突尼斯總統布爾吉巴安排卡扎菲在帕爾瑪梳姆電影院舉行演講報告會。卡扎菲在即席演說中，建議突尼斯和利比亞實現統一。這時，布爾吉?一直在官邸電視機前觀看卡扎菲報告的實況轉播，當他聽到卡扎菲講到兩國統-時，再也坐不住了。他立即乘奔馳車趕往電影院，登上舞臺發表即席講話。布爾吉巴強調，大家都贊成實現阿拉白統一，但在兩國聯合問題上，決不可貿然行事。報告會後，兩位領導人就統一問題進行了緊急磋商。
1974年1月，卡扎菲突然到達突尼斯風光秀麗的地中海島嶼傑爾巴島，並提出要與布爾吉巴總統就統一問題舉行會談。布爾吉巴率龐大代表團到島上同卡扎菲會晤，兩位元首經過45分鐘會談後，簽署了同意建立“阿拉伯伊斯蘭教共和國”的文件。該文件規定，兩國統一後,將共同擁有統一憲法、軍隊、立法、行政和司法權力機構，將只有一個總統。
布爾吉巴與卡扎菲簽署兩國統一文件後，在突尼斯國內掀起軒然大波，決策層內部反對統一的人士出謀劃策，提出將對這次統一文件的投票時間推遲。突尼斯社會主義憲政黨宣稱，不僅公民投票將推遲到1974年3月20日以後，而且舉行公民投票之前必須先修改憲法，這項工作至少要花4個月的時間。布爾吉巴爲擺脫尷尬處境，飛往瑞土休假。卡扎菲聞訊後立即趕往瑞士與布爾吉巴會晤，以圖挽救處於夭折之中的統一，但他一無所獲。後來，兩國分歧日益嚴重，兩國關係每況愈下，兩?統一自然告吹。
1980年，黎巴嫩內戰形勢嚴峻，巴勒斯坦問題困難加劇，阿拉伯國家與以色列衝突備受世人關注。在這種形勢下，敘利亞的作用益顯突出。卡扎菲向阿薩德提出，爲了鬥爭的需要，利比亞與敘利亞實現統一。阿薩德接受了卡扎菲的建議，兩元首遂於1980年9月簽署《的黎波里宣言》，宣佈兩國統一。該統一方案簽署後，利比亞派大批軍隊到敘利亞，並運去大量武器裝備，以圖在解決黎巴嫩問題上發揮實質性作用。但令卡扎菲遺憾的是，他的軍隊未能起到任何作用。後來，他與阿薩德在中東和談等一些問題上產生分歧，利比亞與敘利亞第二次統一再次破產。
長期以來，利比亞與其近鄰乍得的關係一直處於跌宕起伏之中，兩國關係好時親如兄弟，惡時兵戎相見。1980年古庫尼任乍得臨時國務委員會主席期間，得到卡扎菲的大力支持。1980年6月，利比亞與乍得簽訂“友好同盟條約”。同年11月，卡扎菲應古庫尼請求出兵乍得，協助古庫尼擊敗對手哈佈雷派，控制了乍得首都及北部和中部一些地區。1981年1月，古庫尼訪問利比亞，與卡扎菲簽署了兩國實現完全統一的聯合公報。這項公報一經發布，立即遭到乍得國內外強烈反對。同年1月，非統組織在多哥首都洛美就乍得問題召開緊急會議，譴責利比?與乍得統一，要求廢除該項協定，並要求利比亞從乍得撤軍。此後，儘管卡扎菲與古庫尼經常會晤，盡力挽救這項統一協議，但古庫尼面臨強大壓力，在統一問題上的立場不斷後退。1981年10月，古庫尼正式要求利比亞軍隊全部撤出乍得。同年11月，卡扎菲下令從乍得撤軍。1981年底，哈佈雷的北方武裝趁利比亞撤軍之際發動進攻，於1982年6月攻佔首都恩賈梅納，並於同年9月初任總統。哈佈雷執政後，乍得與利比亞關係甚爲緊張，兩國的統一協議也就埋葬在雙方交戰的炮火中。
此外，卡扎菲還就利比亞與摩洛哥、阿爾及利亞的統一做出了努力，但均未成?。他對也門的統一、結束也門內戰做了大量斡旋工作。他還規勸敘利亞與伊拉克實現統一，但未果。他積極參與創建馬格里布聯盟，並希望該聯盟成爲走向阿拉伯全面統一的一步。事態的發展未能使他如願以償。
卡扎菲在長期的統一實踐中連連受挫，抱怨不迭。他認爲阿拉伯團結雖然重要，但十分困難，一方面因爲一些阿拉伯國家領導人缺乏誠意，另一方面因爲一些阿拉伯國家與美國等西方國家結盟。他還認爲，在利比亞遭受制裁期間，阿拉伯國家無動於衷，沒有給予利比亞應有的聲援，使利比亞大失所望，使他感到傷心。爲此，他把追求統一的癡情移往?洲，把自己外交活動的重點也移往非洲。他積極參與非洲事務，1997年8月，卡扎菲倡議成立了由利比亞、蘇丹、乍得、尼日爾、馬裏和布基納法索組成的撒哈拉一薩赫勒國家聯合體。1999年9月，卡扎菲在利比亞錫爾特主持召開了非洲國家特別首腦會議，給他提供了大出風頭的機會。2000年3月，卡扎菲決定解散利比亞大多數部，只保留外交、司法與安全、財政、信息四個部，但卻特意增加第五個部，這就是非洲團結部。2000年7月，非統組織第36屆首腦會議在多哥首都洛美召開，卡扎菲向大會提出了建立非洲政治經濟聯盟的計劃，這項計劃既包含建立非洲合衆國的?想，又帶有歐盟的模式。會議開始階段，非洲與會元首對卡扎菲計劃的表態不甚熱情，和者甚寡。卡扎菲大爲不滿，抵制了多哥總統爲全體與會元首舉行的盛大宴會。與此同時，卡扎菲在自己下榻的帳篷內另外舉辦了一場宴會，邀請布基納法索、乍得和塞內加爾元首出席。後來，大會經過反覆討論協商，終於在閉幕式前簽署建立非洲聯盟章程草案。章程草案規定，非洲聯盟所遵循的原則是：平等、主權和國家獨立，尊重各國邊界，互不干涉，禁止對其他成員國使用或威脅使用武力。聯盟設最高權力機構和執行理事會，總部設在埃塞俄比亞首都亞的斯亞貝巴。該章程?案待非洲2/3的國家批准後取代非統組織章程。會議決定，下屆非洲國家首腦會議於2001年3月在利比亞錫爾特召開。分析家們認爲，洛美會議既未完全接受卡扎菲的構想，但也未完全使卡扎菲失望，綜合而言，卡扎菲取得了一半勝利。
第36屆非統首腦會議結束後，卡扎菲應貝寧總統克雷庫邀請訪問貝寧。在貝寧首都波多諾伏萬人歡迎會上，卡扎菲發表了慷慨激昂的講話。他稱讚?洲兒女改變了世界地圖，並呼籲非洲人行動起來拆除邊界，使非洲成爲無邊界的統一非洲。他幾乎忘卻了身旁信奉天主教的克雷庫總統，向集會的羣衆大聲疾呼，要求人們信奉伊斯蘭教。卡扎菲說，天主教和基督教是殖民主義在非洲的工具，非洲的穆斯林應該勸說他們的兄弟們皈依伊斯蘭教。他宣稱，阿拉伯語是天堂人土的語言。
卡扎菲對統一事業滿懷一片癡情，儘管通往統一的道路坎坷不平，但他仍義無反顧地繼續前進。在阿拉伯統一方面，儘管他有意見和抱怨，但仍出席阿拉伯首腦會議。利比亞仍是阿拉伯聯盟成員國。在非洲統一方面，卡扎菲積極參與有關活動，並主動邀請有關方面在利比亞召開非洲統一的會議。
