長江南京段一直是一道天塹，從宋代開始，歷朝歷代都想在這裏修橋，但是，沒有一個能夠成功。
民國期間，在南京長江大橋建成之前，江北的津浦鐵路(通車於1912年，天津到南京浦口)、江南的滬寧鐵路(通車於1908年，上海到南京)被寬廣的長江切割開來，不能連貫。當時修建了滬寧鐵路的中英銀公司雖然有修建過江輪渡的提議，卻無法落實。
1930年，南京國民政府鐵道部籌建專門委員會，從事設計活動式棧橋輪渡的方案，並於1933年最終建成通航。這種方式需要將過江列車按節拆分，乘船擺渡的情形一直延續到解放後。無論是國民政府還是侵華日軍都沒有能在南京的江上江下成功修橋或者挖隧道，包括民國政府請來的美國專家都說NO。
新中國成立後，輪渡的班次從最初的每天20班最終提高到1958年的每天100班，但仍無法滿足運輸量大增的需求。長江天塹成爲了制約京滬鐵路運力的重要瓶頸。出於打通京滬鐵路，形成連通華北與華東的經濟大動脈的需要，國務院最終在“一五計劃”末期提出了修建南京長江大橋的計劃。
南京長江大橋從1960年1月18日建造，到1968年9月鐵路通車、12月公路通車，歷時8年零8個月。整個大橋工程使用各種鋼材6.65萬噸，混凝土38.41萬立方米。工程總造價爲2億8757萬元(1960年代的人民幣)。
建成後的大橋上層爲公路橋，長4589米，車行道寬15米，兩側各有2米多寬的人行道。下層爲雙軌複線鐵路橋，寬14米、全長6772米，連接津浦鐵路與滬寧鐵路幹線，使得原來火車依靠輪渡過江的時間從1.5小時縮短爲2分鐘。
大橋建成時，爲了考驗大橋的承載能力，許世友司令親率118輛坦克從南京花旗營至北橋頭堡，一字排開檢壓南京長江大橋。坦克每輛間隔50米，整個車隊延綿10公里，成爲了大橋建成以來最壯觀的一幕。
