同治元年即1862年，正處於兵火之中的江南大地哀鴻遍野。開埠以來，華洋雜處的上海，繁華一時，此時正處於天平軍的兵鋒之下，形勢岌岌可危。
所謂亂世英雄，李鴻章就在這時離開了曾國藩的幕府，遠赴上海。此人有“一萬年來誰著史，三千里外慾封侯”的抱負。但面對太平天國重重圍困下的上海，也是束手無策。這時上海紳商坐不住了，僱傭了七艘英籍輪船，橫穿太平軍佔領區，以每次載運3000人的規模，共分三次將李鴻章和他的子弟兵淮軍9000人運到上海。
江南製造總局的創辦人李鴻章
這是這位“東方俾斯麥”第一次近距離見識了什麼是“堅船利炮”。在中西華洋的衆目關注中，扛着擡槍刀矛，頭裹布巾，身穿寬大的勇字號衣，腳蹬草鞋的淮軍，成爲上海駐防各軍中兵力最多的一支，也成爲清政府守住上海、收復江南的主力。
此時李鴻章的對手是太平軍最精銳的部隊，忠王李秀成部，不僅兵多將廣，而且還配備了西式槍炮。這讓李鴻章羨慕不已。他告訴老師曾國藩，自己深以中國軍器遜於外洋爲恥。假如中國能自己造開花大炮、輪船，西洋人肯定不敢輕視於我。
1863年，一名剛從英法聯軍中辭職的英國人，走進了李鴻章幕府。他名叫馬格里，後來加入了淮軍，娶了一位中國妻子。他向李鴻章提出一項重要建議。即淮軍從西方購買彈藥的成本太高，“買一顆從英國炮船上偷來的很普通的12磅炮彈要費30兩銀子，買一萬粒最差的於彈也要19兩銀子，即6英鎊。”“我告訴他(李鴻章)，歐洲各國都開辦大工廠製造軍火，中國若爲本身利益着想，也應該建立這樣的工廠。”爲了讓李鴻章相信此事的可行性和自己的能力，馬格里借擔任淮軍炮隊教習之便，利用簡單的工具，製造了一顆炮彈和引信等配件。
江南製造總局造炮的機器
這讓李鴻章明白槍炮子彈不是什麼“奇技淫巧”，而且萌生了創立軍械製造廠的念頭。
和李鴻章有同樣想法的還有他的老師曾國藩。最初也只是爲了供應湘軍所需的西式彈藥，於1861年在安徽安慶設立了湘軍安慶內軍械所，網羅徐壽、華衡芳、李閃蘭等國內詳務人才於其中。從生產槍炮彈藥開始，逐漸試製西洋槍炮，但是成果並不樂觀。
就在兩大洋務領袖陷入困頓時，一個絕好的機會出現了。1865年，正在鎮壓捻軍的李鴻章收到丁日昌一封信，得知上海虹口有一個洋人辦的鐵廠，不僅能造槍炮，而且能製造輪船。如今洋人願意出售，要價十萬兩。早想設廠製造槍炮彈藥的李鴻章十分動心，無奈囊中羞澀。恰在此時，有個被革職的海關道翻譯願拿出四萬兩銀子促成此事，算爲自己贖罪。李鴻章又從海關借來一些銀子，這樣就買下了洋人的機器廠。
李鴻章購得該機器廠後，正式改名爲江南製造總局，中國工業史上著名的“江南品牌”就這樣誕生了。
“總局”是李鴻章和曾國藩的創意，所謂“總”就是說不單單槍炮船隻，還包羅各種機器。但由於財力和人力有限，各種機器也僅指軍械方面的機器。
翻譯館
與此同時，曾國藩派有中國留美第一人之稱的容閎前往美國購買機器，猶如給江南製造局成立獻上的厚禮，江南製造總局成立後不久，1865年底，容閩自美國訂購的大批機器飄洋過海歸來，曾國藩決定將這批機器全部撥給江南製造總局使用，以壯大規模。隨着規模的擴大機器的增多，原來狹小的機器製造廠已經不能滿足江南製造總局的需要。
1867年夏天，上海城南高昌廟鎮一夜之間熱鬧了起來。大批軍隊、民夫聚集而至，大興土木。瀕臨黃浦江的大片土地上，一座座中西合璧的廠房建築撥地而起，當年共建成機器製造、木工、鑄鐵、鑄銅、打鐵、傷船、鍋爐、火炮、步槍、火箭等多個車間(和福建船政一樣，這些車間當時也都稱爲“廠“)，製造局公所、文案房等辦公、培訓機構，以及煤場、倉庫等材料堆儲場所。在這連片建築的人口處，門樓上赫然醒目幾個大字：江南機器製造總局。
江南製造總局創辦後，數年之間就造出輪船四艘，洋槍、大小開花飽、洋火箭等數千件。
李鴻章說：江南製造局是中國最大的軍工廠。
江南製造總局的機器和工人
近代海軍奠基人沈葆楨說：凡直隸督臣和江南各省使用的武器，都是由江南製造局提供的。
清朝大員端方說：江南製造總局製造的槍炮彈藥比以前有很大進步。槍炮、子彈、鍊鋼等廠成效昭然。
著名官商盛宣懷說：金陵、天津、福州、廣州、漢陽等廠的興起，都借鑑上海製造局的成規，是它開的好頭。
可見江南製造總局在中國近代軍事工業中的重要地位和作用。
