從很早的時候起，人們就嚮往着能像魚兒一樣在水中自由游泳。2000多年前，有個國王叫亞歷山大，他想到水下去逍遙，就下令工匠們給他做了一個玻璃容器，他躺在這個容器裏沉到海底，並在海底停留了一些時候，看到了水下奇異的水族生活。這可以看作早期人們對潛水裝置的探索。
17世紀初，荷蘭有個物理學家，名叫科尼利斯·德雷爾，爲了使潛水船能在水中前進，他做了長時間的研究和試驗。17世紀20年代，他用一條最大的潛水船，裝載12名水手，用漿划船前進。這種潛水船是用木料製成的，在船體外面蒙上了一層塗油的牛皮，下潛深度爲4至5米，船內裝有羊皮囊作爲水櫃。羊皮囊內灌進了水，船就下潛;把羊皮囊內的水擠壓出去船就上浮到水面。這種潛水船要算是世界上最早的潛艇雛形了。
18世紀美國獨立戰爭時，英國的戰艦在美國的海面和港口橫衝直撞，激起了美國人的義憤。有一個叫戴維特·布斯涅爾的美國人，很早就想造一條潛水船到水下做一次旅行。由於戰爭爆發，他改變了主意，打算建造一條水下戰艦，從水下去攻擊英國的水面戰艦。於是，他很快設計製成了一條小艇，起名叫“海龜”。“海龜”艇是木製的外殼，形狀很像一個尖頭向下的鵝蛋。艇底有一個小水櫃，艇內有一個小水泵，向水櫃灌水時，小艇就潛入水中;當水泵把水櫃的水抽出時，小艇就上浮。艇上還裝有一個手搖螺旋槳，可使小艇在水下前進。艇外掛有一個大炸藥桶。進攻時，小艇開到敵艦的正下方，然後用長矛似的鑽子去鑽敵艦的船底，鑽好後把炸藥桶掛上，啓動定時爆炸裝置，當小艇離開後，炸藥桶自動爆炸，就可以摧毀敵艦。“海龜”艇製成後，曾奉命攻擊英國的快速戰艦“鷹”號。當“海龜”艇潛到“鷹”號的船底下方時，駕駛員埃茲拉·裏選擇鑽孔的位置不對，鑽不進去，他怕所帶的氧氣用完，於是放棄了攻擊，浮出水面，準備返航。這時，英國海軍巡邏艇發現了它，就把它當作怪物進行追捕。“海龜”艇跑不過巡邏艇，埃茲拉·裏急中生智，把炸藥桶放了出來，並點燃了定時爆炸裝置，轟隆!一聲巨響，嚇得英國巡邏艇調頭就跑，埃茲拉·裏安全返回了基地。
18世紀末，愛爾蘭裔的美國人羅伯特·富爾頓建造了一艘小巧玲瓏的潛艇，名叫“觸魚”。該潛艇長7米，形狀像子彈，艇體爲鐵架銅殼，有水櫃，能使艇沉浮。艇上還有一臺手搖螺旋槳，保證水下行駛;還有一根可以摺疊的桅杆，並裝有風帆，能使艇在水上航行。它使用的武器是水雷。這條潛艇從材料、設備到武器，都比“海龜”艇有較大的改進，所以比“海龜”艇潛得深，攻擊威力大。
19世紀中葉，德國人威廉·鮑爾對羅伯特·富爾頓的潛艇加以改進，製成了“火焰”號潛艇，裝置一對踏車作爲動力。它就像現在的自行車一樣，用腳踏飛輪，帶動螺旋槳轉動，使艇前進。19世紀60年代，美國國內爆發了“南北戰爭”。南軍建造的“大衛”號潛艇，是以小型蒸汽機作爲動力的，這是潛艇在動力上由人力改爲機器的第一次重大改進。1863年10月的一個夜晚，“大衛”號潛艇襲擊了北軍的“克倫威爾”號鐵甲艦，使其受了傷。1864年2月17日傍晚，南軍又使用“亨利”號潛艇，用長竿魚雷(魚雷綁在一根長竿上)炸沉了北軍的一艘巡洋艦“休斯敦”號，成爲歷史上第一艘擊沉戰艦的潛艇。1863年，法國建造了一艘很大的潛艇，叫“潛水員”號，長約47米，排水量420噸，艇上安裝了80馬力的壓縮空氣發動機作爲動力。這個艇在水下航行的穩定性能差。到1881年，愛爾蘭籍美國人霍蘭，在解決潛艇水下航行穩定性方面取得了進展，他用升降舵來保持潛艇水下航行時的穩定。19世紀80年代，法國又製造了一艘名叫“吉姆諾特”號的潛艇。這艘潛艇裝上了蓄電池，使用了55馬力的電動機做動力，這是潛艇動力上的又一次重大改革。1898年，霍蘭又研製了一種潛艇，以汽油發動機做動力，水下最大航行速度爲5節(1節爲每小時l海里)，水上可達7節，這艘潛艇還可以水下發射魚雷。1899年，有個名叫芬貝夫的人，製成了一艘名叫“納維爾”號的潛艇，有兩層殼體，在艇的內殼外又包上一層外殼。內外殼之間的空間用來裝水，叫水櫃，可使潛艇下潛上浮，使潛艇具備了較好的潛浮和航海性能。水下航行速度可達8節，水上航行速度達到11節，並能給蓄電池充電。這一重大改進，爲現代潛艇打下了良好的基礎。
在第一次世界大戰前幾年，潛艇越造越大，越造越好，由於使用了柴油機做動力，航速有很大的提高，武器裝備也比以前多了。第一次世界大戰一開始，潛艇就投入到大規模的海戰中。1914年9月22日，德國的一艘潛艇在1小時15分鐘內，用6個魚雷擊沉了英國3艘12萬噸的巡洋艦，充分顯示了潛艇的威力。到了第二次世界大戰期間，世界各國建造的潛艇總數已達到1600多艘。隨着潛艇數量的增加，種類也在增多，用途也越來越廣。潛艇的排水量，已從數百噸發展到2000多噸。
不僅出現了小型、中型、大型潛艇，而且還出現了執行特殊任務的袖珍潛艇。第一次世界大戰期間，爲了提高潛艇的攻擊和自衛能力，安裝了火炮。但火炮在水中阻力很大，影響了潛艇的速度，以後又把火炮拆除了，增加了魚雷發射管的數量，這樣不僅提高了潛艇水下航行的速度，而且也增大了潛艇的攻擊威力。第二次世界大戰後，有的國家把常規動力改爲核動力。1954年，美國的“舡魚”號潛艇首先採用了核動力。核動力使潛艇有了較大的航速，它比常規動力的速度大一倍多，而且能長時間在水下航行，它可以繞地球跑好幾圈而不需要增添燃料，而且它能夠90%以上的時間在水下活動，大大提高了隱蔽性。而裝備了彈道導彈的核潛艇，已經成爲一支戰略打擊力量。
