幼年時期
天文十五年(1546年)十一月二十九日，幼名萬吉的名軍師黑田官兵衛孝高(即日後的黑田如水)在姬路城降生。職隆在姬路城裏開設了百間長屋，供來往的浪人居住。這樣，如水時常在父親的陪伴下前往長屋與住在裏面的人交談，以此增加社會閱歷。這些人中後來有很多成爲黑田家臣。在母親的影響下(早喪)，如水從小對連歌很感興趣。十歲的時候即能從各種連歌中學到諸國的地理和人文。教授如水學問的老師是一位住在姬路城外草菴裏的淨土宗僧人圓滿和尚，他的教育對如水的一生有着重要的影響。
誠然，如水的幼年並沒有受到特別的英才教育，他的生活同當地居住的百姓沒有什麼區別，老師圓滿和尚同時也是村子裏老百姓孩子的老師。但如水還是很快從孩子們中間脫穎而出，十歲時就已經對諸國地理有很深的瞭解。出色的連歌才華和地理感覺也是其他孩子所望塵莫及的。與此同時，父親黑田職隆開始對年幼的如水灌輸民爲貴的治國思想。
迅速成長的如水十四歲元服，改名爲官兵衛孝高。此時的他，即將肩負起剛從流浪的生活中擺脫出來的黑田家未來的希望。
小寺家老
元服後的如水十六歲(或十七歲)初陣，接着就開始侍奉小寺政職。這段歷史在後世流傳很廣，據說一五六一年(永祿四年)，小寺政職在打獵歸來時路過姬路城，對出席接風宴的如水很是賞識，遂招爲近習，給予八十石的俸祿，後又將小寺姓賜予如水。不久，年僅二十二歲的如水成爲小寺家家老。
同年，如水與政職的侄女播磨志方城城主櫛橋豐前守則伊(也稱伊定)的女兒結婚，雖說這是政職的政略婚姻，但是夫婦之間還是很恩愛的。翌年，長子鬆壽丸(後來的長政)出生。1569年(永祿12年)5月，播州館野城主赤松下野守 政秀聯合播磨八郡領主別所安治，引軍3000進攻姬路。而當時姬路城的動員兵數僅300人。如水於姬路城西一里青山地佈陣，借地形優勢，以寡擊衆，擊敗赤松軍。次月，赤松政秀爲雪前恥，引兵再犯。如水與父職隆於土器山要衝佈陣，兩軍對峙。主君小寺政職的援軍守備鬆懈，遭赤松軍夜襲。早有察知的如水派井手勘右衛門友氏(職隆之弟)、母裏小兵衛、母裏武兵衛等150人往援。然而寡不敵衆，井手、母裏三人奮戰討死，小寺軍一時敗退。當夜，如水再整軍勢，自爲先陣，父職隆爲後陣指揮，夜襲赤松政秀本陣。赤松軍全無防備，四散奔逃。如水果敢出城迎敵，兩敗赤松軍之事傳遍了播磨國。年輕的如水一躍成爲小寺家的次席家老。
作爲弱小的守城一方，卻勇敢的出城迎擊，並連續擊敗來犯的赤松軍。從此，如水的武勇傳播到了播磨國內外。那些在如水小時候罵他爲“賣眼藥的小子”的小寺家重臣們也對他刮目相看。此後，身爲小寺家家老的如水逐漸開始嶄露頭角了。
毛利攻略
一五七五年夏，小寺家的重臣們被政職召集到御着城。當時正處於毛利和織田兩大勢力夾縫中的小寺家有必要明確自己的立場。這兩個勢力中，毛利家已經提出了人質要求，這是因爲織田家侵犯中國的態勢已經很明顯了，毛利家認爲有必要加深和小寺家的聯繫。此時的毛利家，雖然號稱西國無雙的智將當主元就已死，但年輕的輝元在兩川(吉川元春，小早川隆景)的輔佐下，依然毫無疑問是中國地區的霸者。在此之前，擁有備前美作兩國的宇喜多直家已經率先加入了毛利一方。
究竟是答應毛利家的人質要求，還是投向新興的織田家，政職難以決斷。於是他對家臣說：“各人把各人心裏的意見說出來吧。”其實在他自己心裏已經有答應毛利一方要求的想法了，這次會見重臣們的目的，是爲了確定一下各重臣尤其是如水的意見是否與自己相同。果然，在筆頭家老小河三河守的帶動下，許多人的意見與政職心中所想的一致，認爲應該投向毛利方。只有如水一個人支持投向織田一方。對此，如水這樣解釋道：“織田信長是智勇兼備的名將，而如今天下的形勢已經明顯傾斜向於他，所以如果服從信長的話，是可以繼續小寺家武運的唯一方法。”他就這樣說服了衆人。
受命與織田家交涉的如水，在謁見信長之前先跑到近江，請求長浜城主羽柴秀吉作爲中介。在秀吉的斡旋下，如水與信長見面了。他將播磨的形勢對信長詳細地述說了一遍，並表示小寺家願意臣從於信長。如水說：“現在只要殿下派遣一名大將前往姬路，即使不帶一兵一卒，播磨的各個豪族也會競相的前來歸附。”感嘆於如水出色口才的信長，當場就把小姓手裏拿着的名刀“壓切”送給瞭如水。黑田家舊時珍藏的《黑田家御重寶故實》中記載了“壓切”這個名字的來歷：當年信長公和一個茶道坊主發生矛盾。那個坊主逃走躲在了一個棚子底下，信長一刀下去，居然把這個棚子都切斷了，所以這把刀就被命名爲“壓切”。
信長所派遣的中國侵攻的總大將就是之前的長濱城主羽柴秀吉。從此，如水成爲秀吉身邊最得力的參謀之一。另一方面，以爲小寺家肯定會成爲自己家臣的毛利家，在得到了小寺臣服於織田的消息後大爲光火。天正四年四月，毛利家水軍將領浦兵部丞奉命率五千人從播磨的英賀浦登陸，準備襲擊御着，姬路兩城。小寺政職聞訊後大驚失色，而如水則堅持說可以擊敗毛利軍，並且作好了迎擊的準備。爲了補充軍隊數量上不足的，他向當地的老百姓發放錢財，讓他們購買各種旗幟作好準備，在自軍的背後待機。等到如水軍向毛利軍發動攻擊的時候，這些百姓就在後面搖旗吶喊，毛利軍以爲敵人的援軍到來，頓時陷入混亂，最終從海上敗退了。
在安土城得知了這一勝利消息和如水出色表現的信長大爲欣喜，立刻命令當時還是他手下的攝津有岡城主荒木村重向小寺政職發去了感恩狀。
同時，這一次毛利攻打小寺的舉動，在客觀上也大大加速了信長中國侵攻的計劃。這時候，秀吉向在姬路的如水提出了人質的建議，如水爽快地答應。他將嫡子鬆壽丸送到了安土的信長那裏。後來又被輾轉送到了近江長浜交給秀吉。這樣，如水和秀吉之間的關係又進一步加深了。
村重謀反
天正六年(1578年)夏，秀吉開始向別所小三郎長治所鎮守的播州三木城發動兵糧攻，如水和同樣是秀吉軍師的竹中半兵衛一起留在秀吉的大本營中。這時候，如水受到了半兵衛的勸誡：
事情的緣由起於一張紙，那是秀吉給如水的“兄弟誓書”，這裏面寫道：“我在此地，與你毫無隱瞞的談論所有的事情，相互之間沒有隔閡。以後我和你就有了兄弟的情誼，永不違此誓。”如水在陣中把它用油紙包起來，十分珍惜。誰知半兵衛看到了這份如水很引以爲豪的誓書後，卻將它撕成兩半，然後扔到火盆裏燒掉了。面對着大驚失色的如水，半兵衛說：“你和秀吉是主從而不是兄弟，這張紙遲早會成爲禍根的，你還是早點忘了它吧。”如水聽到了半兵衛的這番勸誡後，俯下身去表示感謝。從今後，如水將這番話牢記在心，常常引以爲戒。
話說回來，秀吉所討伐的別所氏是赤松則村的一族，開始一度臣服於信長一邊，後來因爲聽信了長治的叔父別所山城守賀相的讒言，在這一年的二月背叛了秀吉而投向了毛利一方。從屬於別所家的諸多豪族也和別所一起投向了毛利。但是長治的另一個叔父重棟卻依然留在織田家。四月一日，重棟所在的別府城受到了毛利輝元手下中國，紀伊，淡路三方面聯軍約八千人的攻擊。聽聞這個消息的秀吉，馬上交給如水五百精兵，命令他迅速增援別府城，最終成功地擊退了毛利大軍。
發覺單獨攻打三木城難以成功的秀吉，採納瞭如水的進言。爲等待信長的援軍而將本陣移往書寫山。這裏的元教寺是天台宗的古剎，供奉着很早以前的伽蘭像，並儲備有很多兵糧。四月十八日，吉川元春，小早川隆景和備前的宇喜多直家率領五萬大軍開往播磨以救援別所長治。幷包圍了由尼子勝久和山中鹿之介守備的上月城，鹿之介迅速向秀吉求救。於是，秀吉，如水和荒木村重所率領的一萬餘軍隊移到了高倉山佈陣。六月二十四日，信長髮來書信，言及毛利軍不可能馬上攻下上月城，命令秀吉立刻返回了書寫山繼續展開對三木城的攻擊。結果，上月城在沒有援軍的情況下於七月三日被攻破，尼子勝久，氏久(勝久的弟弟)自殺，山陰地方的名族尼子家滅亡，同月五日，山中鹿之介和立原久綱向毛利軍投降。就在這個時候，秀吉收到了“荒木村重謀反”的報告。村重勾結足利義昭和本願寺顯如向信長豎起了叛旗，這是在那一年的十月十七日。信長大爲吃驚，三番四次向村重送去使者，希望他回心轉意，但是最終都失敗了。
同時，小寺政職也響應荒木村重背叛了信長。在如水拼命的勸說下，政職答應如果村重投降的話他也會歸順於信長。就這樣，如水在和父親職隆討論之後，抱着對小寺家盡最後忠義之心，以必死的覺悟單身前往會見在有岡城的村重。(但也有一種說法說這其實是政職的陰謀，政職想借村重的手殺掉如水。日後，反叛失敗的政職客死異鄉，其子氏職日後成爲黑田家臣。)
如水的勸說並沒有打動村重的心。反而被村重幽禁在有岡城裏度過了一年的牢獄生活，還因此失去了一隻腳。村重當時爲什麼沒有殺死如水至今已成了一個謎。據說是村重認爲：“殺掉毫無抵抗能力的小鳥會喪失民心。”。
就在這禁閉的日子裏，留下了黑田家家紋的傳說：黑田家的家紋本來是丸に三橘，從如水之後就改成了藤巴。據說，如水被幽閉的山洞非常潮溼，終日難見陽光。沒想到在這樣惡劣的環境下，看上去已經枯萎的藤條居然發出了新芽，還開出了紫色的花，如水認爲這是在向他宣告未來的吉兆，所以創造了這個家紋，這都是爲了不忘記這一段艱難困苦的日子。
另一方面，安土城的信長並不知道如水已經被村重幽禁，還以爲是如水背叛了自己，他立刻命令半兵衛殺死作爲人質的如水嫡子鬆壽丸。半兵衛表面答應，但是內心知道如水不會背叛，於是就將鬆壽丸藏在自己的居城裏(美濃國不破郡菩提城)，假裝已將其殺死了。日後，如水在這件事上對半兵衛很是感激。
天正六年(1579年)十一月，瀧川一益終於攻落有岡城，並救出瞭如水。但長年的牢獄生活已經腐蝕了他的腳，頭髮也掉光了，其狀慘不忍睹。秀吉見如水受這樣的折磨仍然沒有背叛自己，非常感動。於是大加賞賜，他見如水步行困難，還特意爲他準備了轎子。同年十二月，秀吉命令如水拋棄“小寺”這個有叛逆之心的姓氏，恢復了他的舊姓“黑田”。
背叛不斷被鎮壓，最後，只剩下三木城的別所長治了。這一年的九月，四周的支城全部被攻落，三木城徹底陷入了孤立無援的狀態。接下來就是秀吉最拿手的兵糧攻，“渴死三木”的行動就這樣開始了。據《播州別所記》記載：“城中連陳年的老穀子都被吃完了，餓死者達到數千人。開始是用糠爲食，然後是吃牛馬，雞犬，隨後連人肉都要割下來吃掉。”天正八年(1580年)正月十一日，書寫山上的秀吉向三木城發動了總攻擊令，此時別所方城裏的糧食早已耗盡，繼續戰鬥下去根本毫無意義。十五日，城主別所長治與同彥之進友行以自己的切腹換取了一城殘兵的性命。這樣，秀吉完全平定了播磨一國。
水淹高鬆
天正八年(1580年)正月，秀吉終於攻落了別所家的三木城。他的下一個目標，就是由毛利家家臣清水宗治所鎮守的備中高鬆城。清水宗治是備中地區的土豪，後來通過小早川隆景成爲毛利家的譜代家臣，負責整個備中的防禦。秀吉一開始曾考慮對其進行勸降，他把勸降工作交給如水去辦，如水深知這是一個重要的任務。於是他在給清水的信中許諾：“如果你肯歸降，備中備後兩國就是你的。”但宗治卻拒絕投降。此時的秀吉雖然有些惱怒，但由於織田軍正全力攻打因幡的鳥取城，無法分兵攻打備中。這樣，直到1582年四月，備中地區的戰役才真正打響。在這期間，如水以參謀的身份參加了秀吉攻打鳥取城(1581年七月)的戰鬥。幾乎就在包圍鳥取城的同時，信長的四國征討也開始了。同年九月，如水以秀吉代表的身份，和仙石權兵衛、生駒甚助和明石與四郎一起來到四國。對於四國攻略，如水的意見是先攻取淡路島，以確保本州和四國的制海權，然後將此島作爲攻打四國的根據地。十一月十五日，如水佔領淡路。同時，因幡的鳥取城也在一個月前的十月二十五日被攻落。不久如水就收到秀吉發來的召喚令。於是他將仙石權兵衛留了下來，自己返回姬路。
1582年三月一日，秀吉開始攻打備中高鬆城。
這次出征集合了播磨，但馬，因幡的軍隊大約有六萬人。全軍從姬路出發，四月進入了備前國宇喜多秀家的居城岡山。接着，秀家率領兩萬先鋒侵入備中國。四月十四日開始攻打河屋城，並於五月二日討取了守將乃美彈正忠景。四月二十五日，以如水率領的六百黑田武士爲先鋒的織田軍攻下了冠山的巢蜘冢城。這一仗也是如水的嫡子黑田吉兵衛長政的初陣。四月二十日，織田軍展開一次對高鬆城的試探性攻擊，由於敵軍防守嚴密而失敗，秀吉一方陣亡數百人。
經過這次嘗試，秀吉認識到如此強攻難以奏效，爲減少傷亡，決定使用與鳥取一役中相同的“幹殺”戰法來對付高鬆城。經過軍議討論，決定採納如水的計策：利用高鬆城海拔較低，東北兩方都是山脈，只有西邊流過足引川這個地理特徵，使用水攻。但實際上想出這個戰法的並不是如水本人，而是他的家臣吉田六郎太夫長利。在《吉田大略記》中記載，如水當時向家臣們詢問如何攻打高鬆城，長利說：“在河裏用大船載滿石頭，將石頭投入河裏，用柴木埋起來，築成大壩就可以了。”
秀吉很快把本陣移到了高鬆城東北方的“蛙ヶ鼻”，從八日到十九日，織田軍在城南建築了一條長約四公里，高約七米，上邊寬十米，下邊寬二十一米的堅固堤防。將四周大大小小七條河流的水引了進來，五月份正是梅雨季節，早晚下個不停的大雨使得堤壩下的水一天高過一天。到了25日左右，城下的民宅已經基本被水淹沒，高鬆城完全孤立了。
五月二十一日，吉川元春和小早川隆景率領毛利援軍的前部一萬人抵達高鬆城外圍。但由於秀吉早有準備，防守牢固。毛利軍雖求戰心切，卻只得看着湖水一天一天漫上來，自己卻無法前進一步。秀吉見毛利已精銳盡出，連輝元自己也親自上陣了，於是向便向安土的信長髮去了西進增援的請求，自己也做好了隨時與毛利家講和的準備。但是就在攻打高鬆城的過程中，近畿地區突發事變。織田信長在宿營地本能寺被部將丹後國主明智光秀殺害，時年四十九歲，史稱本能寺之變。
秀吉野望
秀吉聽說本能寺的訃告已經是事情發生的第二天晚上十二點左右的時候了。如水在秀吉的住處聽到了這一消息，當時秀吉正在掏耳朵裏的水。如水靜靜地附在秀吉耳邊說了一句：“在這世間，只有貴公才擁有取得天下大權的能力。”
聽聞本能寺報告的秀吉決定將消息的真僞放在了一邊，先與毛利達成和睦。並任命如水負責與毛利的交涉任務。毛利方的使者是安國寺惠瓊。有一種說法，就是惠瓊這時候已經知道了信長的死訊，他自願擔任使者的原因，就是爲了討好秀吉，把自己的未來託付在了秀吉的身上。
由於秀吉方在領地問題上做出了重大讓步，使整個和睦交涉進行得非常順利。四日，高鬆城主清水宗治在接受了切腹以保全守城士兵性命的條件下開城。這一天正午，乘船出現在湖上的清水宗治、他的哥哥月清、難波傳兵衛和毛利家將末近信賀等七人一起切腹。秀吉在檢過首級後四小時開始退兵。如水擔心毛利家在得知本能寺之變的消息後會有異變，命令手下將旗幟高高舉起，整然列隊。秀吉將高鬆城交給杉原家次守備，全軍於六日的未時(下午兩點)從高鬆出發，分兩路退兵，在夜裏來到了備前沼澤。七日強行跨過了正在發洪水的數條大河，回到了本城姬路。
擔任這次撤退殿後任務的是黑田如水，他在秀吉率主力撤退的時候，一直在蛙ヶ鼻的本陣監視着毛利軍的動向，就在秀吉離開高鬆的當天晚上，毛利方得知了本能寺之變，暴怒的元春想要追擊，但被安國寺惠瓊和小早川隆景勸阻。六月七日拂曉，如水在確定毛利沒有追擊的意向後也開始拔陣退兵。黑田軍翻越了陡峭的山道，跨過了洪水氾濫的西大寺川，人馬都是一身的泥水。終於使秀吉軍圓滿完成了歷史上有名的“中國大返”。秀吉將城裏儲藏的錢糧毫不吝惜的分給了手下的家臣們，士氣得到了極大提高，爲信長報仇的戰鬥馬上就要來到了。
明智滅亡
在秀吉的“中國大返”之中，如水的智謀得到了充分的發揮。如水在撤退的時候，向毛利家借了二十面旗幟，並向小早川隆景借來了旗使和旗奉行。來到備前，又向宇喜多秀家的家老們借了十面旗幟。回到兵庫後，如水將旗幟全部打開，張立在秀吉的陣前。這樣，在實際的戰鬥前，敵人就會認爲毛利和宇喜多家都站在了秀吉一方，這樣，就得到了奪取敵方戰意和提高本方士氣的效果。後來秀吉聽說這件事後，說道：“年輕人總是認爲弓矢要勝過計謀。但是在戰場上砍下敵人的頭只不過是匹夫之勇而已。官兵衛這次的計謀，非是凡人所能及的，這樣真可謂是大功一件啊。”
從備中高鬆急行軍趕回姬路的秀吉讓士兵們休整了兩天。六月九日，秀吉將淺野長政留在姬路，全軍開始向京都進發，十一日到達攝津尼崎。這時，信長的舊臣有岡城主池田恆興，堀秀政，高山右近，中川清秀等人前來會合。至十二日晚，陸續彙集而來的兵力已經超過四萬人，秀吉軍在攝津富田紮營，各將領部署完畢。
這時候光秀也迅速採取了行動，在本能寺殺死了信長之後，他僅用五天就佔領了信長的居城安土，秀吉的居城長浜和丹羽長秀的居城佐和山。但在向近畿諸將發出援軍要求的時候卻受到重大打擊。光秀的女婿織田信澄被織田信孝所殺、屬下大和郡山城主筒井順慶採取了觀望態度。連最值得依賴的女婿細川忠興父子也嚴辭拒絕了光秀的邀請。
在這樣的狀況下，決定命運的山崎合戰於六月十三日凌晨拉開了帷幕。交戰的兩軍都想佔領大寶寺這要害中的要害，誰佔領了這裏，誰就將取得最後的勝利。結果，如水避開了光秀軍的主力，抄山路和秀吉的先鋒官脅長門守一起奪取了大寶寺。隨後，兩軍就圍繞這塊陣地的爭奪展開激戰，光秀的軍隊最終不敵崩潰，殘部向勝龍寺城退卻。秀吉認爲勝勢已立，想從四面包圍之，如水急忙向秀吉進言道：“明智此時已到了背水之地，如果被大軍四周團團圍住的話，士兵們必定會死戰到底。如果現在留一個方向不攻，他們必定會從這裏逃走……”秀吉接受了如水的建議，故意在戰場的北面打開一個口子，光秀軍的士兵們果然紛紛從這裏逃出城去，光秀眼見城已經不可能守下去了。於是乘夜帶着五，六個隨從化妝逃出勝龍寺，向近江阪本逃去，在經過伏見山小粟棲的時候，光秀被當地的農民所殺。勝龍寺城於十四日開城，同日，高山，中川隊攻落了光秀的居城丹波龜山。
就這樣，明智光秀的“三日天下”結束了。基於山崎合戰的勝利，秀吉也奠定了他統一天下的基礎。對於在這場戰鬥中如水的活躍，後世的子爵金子堅太郎發出感嘆：“嗚呼，高鬆城外接到本能寺兇變的消息時，這樣鎮定自若，處變不驚。這麼好的大局觀，才使得秀吉不至於走錯方向，這些都是拜黑田官兵衛的智謀所賜啊!”。
四國征伐
在山崎合戰中消滅了明智光秀的秀吉，在織田家中的地位也扶搖直上，但這也不意味今後的生活就一帆風順了，還是有人對他不服。這其中就有當時身在越前北之莊，由於與上杉家對峙而沒能對本能寺之變及時做出反應的筆頭家老柴田勝家。勝家是織田家的譜代重臣，對迅速升遷的秀吉極爲討厭。自然不會容許後者獨攬大權，於是勝家就向秀吉提出了選出織田家後繼者的提議。勝家推舉的是自己的烏帽子親信長三子信孝，如果信孝繼承家業的話，勝家就可以理所當然的掌握織田家的實權了。這時候，如水向秀吉進言說：“絕對不可以和柴田單獨談。”秀吉聽取了這個忠告。於是在寫給勝家的回信中提出：“讓參加了山崎合戰的丹羽長秀和池田恆興兩位大人也一起參加立嗣會議”。
天正十年(1582年)六月十七日，決定信長後繼者的清洲會議在尾張清洲城內開始了。參加者有柴田勝家、丹羽長秀、池田恆興和羽柴秀吉。秀吉在會議上推舉信長嫡子信忠的遺孤三法師爲後繼者。當時三法師只有三歲，秀吉的用意十分明顯，就是要把織田家的實權掌握在自己的手中。
清洲會議最終以秀吉的大獲全勝而告終。對秀吉深深憤恨的勝家與神戶信孝相勾結，舉兵要打倒秀吉。但是卻被秀吉先發制人，挾山崎合戰勝利之餘威，在賤嶽大破勝家軍，直逼勝家的居城北之莊。同月二十四日，勝家和前年與他結婚的妻子織田市自殺，北之莊城隨之被攻破。此後，如水又奉秀吉之命與毛利家交涉領國疆界的問題，翌年三月談妥。毛利家正式加入秀吉麾下。
同時登陸
同年，如水接受了基督教的洗禮，實際上他也使用刻有“SIMEON JOSUI”字樣的印章。也有說受洗的日期是天正十三年，不過這些已經都無法確定了。
秀吉在鞏固了自己織田家繼承者地位之後，開始自信長時候就遺留下來的四國征伐。但由於在北陸方面也有不穩的跡象，所以秀吉沒有親自參加進攻四國的戰鬥，而是派弟弟秀長代替自己爲總大將。如水則擔任秀長的監軍一起去了四國。作爲討伐軍同行的還有秀長的外甥秀次，宇喜多秀家，蜂須賀正勝、家政父子，以及毛利輝元，吉川元春，小早川隆景等人率領的毛利軍。大軍從阿波(德島縣)、贊岐(香川縣)、伊予(愛媛縣)三個方向同時登陸。迎擊的四國霸者長宗我部元親原先只預測到秀吉會從阿波一國攻擊，卻沒有想到會是三面同時登陸。此時，四萬四國軍要面對超過十二萬的討伐軍。
戰鬥還沒有打響，一些原本臣服於元親的贊岐諸豪族就相繼投降了秀吉，只有元親爲了防備四國征討軍而新築的植田城仍然掌握在長宗我部家的手中，該城由一族的右兵衛率三千人鎮守，元親親自爲後援，準備與宇喜多軍一決勝負。指揮宇喜多軍的是整個遠征軍的監軍如水，他利用鐵炮這種新式武器密集攻擊植田城的支城由良山和池田兩城，巨大的響聲使守城兵大爲驚恐，不戰就棄城逃走了。在確定贊岐已沒有敵軍之後，如水向本方傳達了將阿波作爲主戰場的意見。於是，本來的三方面聯合進軍變成了合而爲一的阿波攻略。阿波是長宗我部家苦心經營的防禦陣地，擁有號稱難攻不落要塞的巖倉城，爲了拔掉這枚釘子，如水心生一計。“此城乃是要害，僅憑人力難以攻取。要用計謀，攻敵之心，此城就會不戰而降。”
如水派人在城外修建了比城內的崗樓還要高的井樓。使城中的一切盡收眼底。然後，他又命人在井樓上裝上大炮，向城裏不斷炮擊。在正面戰場上勇猛果敢的士兵們，卻對這種遠程武器十分害怕，在堅守了十九天後終於棄城逃走，全部退回了土佐(高知縣)。正如如水所想的那樣，在阿波最大要塞巖倉城陷落後，其他城中的守城軍隊也陸續退回了本國土佐。最終，孤立無援的元親接受了勸降的條件，與秀長和睦，得到了土佐一國安堵。
同年的八月二十二日，如水的父親職隆去世。享年六十二歲，遺體葬於播州飾東郡妻鹿村，法號心光院滿譽宗園。對於他去世的地方，有姫路、山崎、國府山等多種說法，但經過考證，證實只有妻鹿村的國府山是正確的。
九州征伐
秀吉在完全控制了四國之後，又馬不停蹄地開始向九州進軍。當時九州薩摩國(鹿兒島縣西部)的島津義久已經基本要統一九州了。最後還一直在抵抗着島津軍的是豐後的大友宗麟，但由於雙方實力對比懸殊，大友眼看着就快要撐不住了。宗麟不得不向中央求援。此時已經被賜姓豐臣的秀吉依舊擲起了他的外交法寶，想用壓倒性的實力爲後盾逼迫島津稱臣，沒想到卻被義久一口拒絕。島津軍加緊了對九州各國的攻勢，擺出一副大決戰的架勢。
天正十四年(1586年)九月，以毛利輝元，吉川元春和小早川隆景爲主力的中國軍隊開進豐前，軍監是黑田如水。同時，四國以長宗我部元親，信親父子和十河存保爲主力的部隊也在同時開進了豐後，軍監爲仙石權兵衛秀久。在與大友軍匯合後，軍奉行如水率領四千人開始南進。
當時如水的官位是從五位下勘解由次官，加上兒子長政的領地合起來纔不過三萬石。其直轄部隊不足千人。但這次九州征伐卻擁有四千之衆，這可是立下軍功，爭取成爲一方大名的大好機會。如水跟着中國的軍隊渡過關門海峽侵入豐前，一路勢如破竹。從豐前的馬ヶ嶽城開始，山田、廣津、仲蜂屋、時枝、宮城諸城的城主相繼降伏，並送出了人質。只有小倉和宇留津兩城仍在負隅頑抗。如水與輝元，元春，隆景一起進兵，於十月十四日攻落了島津家的據點小倉。
隨後，如水與吉川，小早川軍一起將本陣移至京都郡的刈田松山城。十一月七日，二萬八千餘人的中國大軍將離松山城三裏遠的築城郡宇留津城團團圍住。攻城戰中，如水的家臣母裏太兵衛友信得到了一番乘的功勞。城主加來與次郎、同新右衛門以下一千餘人被殺，剩下的男女老少共三百七十三人全部活捉，被處以磔刑。如水的家臣中，除了母裏太兵衛以外，井上九郎右衛門，慄山四郎右衛門，後藤又兵衛，野村太郎兵衛，久野四兵衛，大野少弁，吉田六郎太夫、又助，林太郎右衛門等人也都立下了戰功。攻落城池後，如水在城裏逗留了一天將宇留津廢城，隨即返回了刈田。
香春嶽城
秀吉收到宇留津城落城的消息後，在十一月二十日派小早川左衛門佐和安國寺惠瓊送信給如水：“你的心意我知道，軍功的事雖然你沒有說，但是敵我雙方都可以看得到，在書信中斷難說完。”至十二月上旬，豐前一帶已經基本上被豐臣軍平定，如水進入香春嶽城，等待下一步的命令。而在同時，豐後的四國大軍卻在與島津軍的戰鬥中慘敗，長宗我部元親的嫡子信親也在戰鬥中喪生。
天正十五年(1587年)四月，如水被編入羽柴秀長的南軍，開始從豐前向豐後進軍。由於秀長的軍勢極爲強大，島津方面認爲在別國迎擊對自己不利，應該返回自己的故鄉(薩摩.大隅.日向)決戰，於是開始了全面撤退。爲了阻滯秀長軍迅速南下，島津軍在日向(宮崎縣)的高城和財部城兩地集結了大量兵力。相對應的豐臣軍勢更加龐大，如水和毛利、吉川、小早川、宇喜多、蜂須賀、大友軍一起包圍了高城。同時，長宗我部的水軍也從海上向財部城發動了進攻，豐臣軍的目的很明顯，就是想從海陸兩方面壓迫島津家。但是，財部城的軍隊竟然棄城不守，反而北上準備截斷南軍的退路和補給線。聽到這個驚人的消息後，如水和蜂須賀家政立刻前往財部城方向視察戰況。
此時，從屬於偵察軍的如水嫡子長政提議在敵人的必經之地上放置伏兵，並表示希望能親自指揮這支伏兵，如水接受了這個提議，並且派遣母裏太兵衛和慄山大助等身經百戰的勇士三十人，和足輕七、八十人調給長政指揮。
長政一行人渡過了耳川，正在尋找適合的地形以備實施突襲的時候，突然發現財部城中的敵兵五百人向他們衝了過來。長政先率部隊向着一旦川旁的一座小山退走，等到敵人渡河的時候，全軍開始突擊。在這次戰鬥中，長政一馬當先勇敢作戰，太刀被打落在地，左手也負了傷，但是他仍手持脅差繼續奮戰。
後來，如水和經歷過這場戰鬥的諸將談起這件事的時候，說道：“不要覺得戰鬥的勝利始終會很輕鬆，只有自己親身體驗過纔會瞭解其中的艱辛。”(新訂黑田家譜)相對於諸家臣對長政軍功的大加誇讚，如水卻不以爲然，他對長政說：“這只不過是匹夫之勇，而不是大將之道啊。”不過，秀長仍因這次勝利向如水發去了感恩狀，並將此事報告了秀吉。秀吉也同樣向如水發去了書信以示稱讚。
在本土日向的受挫，沉重打擊了島津軍的自信心，經此一役，島津義久終於在四月二十一日向秀長投降。後來，在對九州征伐進行論功行賞的時候，黑田父子得到了豐前六郡的領地。就這樣，如水成爲了豐前十二萬石的大名。
秀吉天下
天正十七年(1589年)，豐臣秀吉以私鬥爲藉口下達了對北條家的討伐令，除了動員各下屬大名的兵力外，還向當時尚未臣服於秀吉的奧州勢力下令出兵，實際上則是以北條征伐戰爲契機，準備一舉平定奧州。
天正十八年(1590年)，二十萬豐臣軍大舉進犯北條領，並很快包圍了小田原城。如水以交涉代表的身份參加了這次戰役。同年六月，如水進入了小田原勸北條氏政投降，七月九日，小田原開城。
統一了天下的秀吉並不滿足，又想開始向朝鮮動武了。對於這次出兵朝鮮，如水是堅決反對的。但是已經被勝利衝昏頭腦的秀吉並沒有接受如水的諫言。反而把修建攻朝鮮的基地——肥前名護屋城的任務交給了黑田父子，並指名要如水擔任設計任務。這個時候如水已經隱居了，黑田家的正式家督是黑田長政。隱居後，他正式改名爲如水，時年僅四十四歲。
文祿元年(1592年)三月一日，徵朝作戰的編制發佈了，豐前中津藩主黑田長政被任命爲三番隊的司令官。隨後的四月二十二日，長政的三番隊從名護屋出發。一番隊於四天后的四月十七日在朝鮮的釜山浦登陸了。如水和長政與六番隊的小早川隆景一起開往朝鮮。此次徵朝的總司令官是秀吉的養子宇喜多秀家，當時才二十一歲，如水則擔任參謀兼後見役。日本軍隊一開始勢如破竹，五月七日即攻陷了首都漢城。五月上旬，日軍的所有將領在漢城集結，開始劃定各人在朝鮮的統治區域。長政被劃分在漢城西北地區的黃海道。但是從一開始就反對出兵朝鮮的如水，卻極力想要抑制戰火的擴大。秀吉在察覺到了這一點後，一怒之下命令如水立即回國。此時的秀吉已經盤算在統一朝鮮之後，嚮明朝開戰了。
但是在翌年文祿二年，戰況開始惡化。如水受命再度北赴朝鮮。但在這次渡朝之後，如水和秀吉所信賴的三奉行(石田三成、增田長盛、宇喜多秀家)產生了對立。事情的起因是這樣的：三奉行聽說如水抵達朝鮮，馬上前往如水所在的東萊城討論以後的作戰計劃。但這個時候如水正在內室和淺野長政下棋，聞報三奉行來了以後，他只說了一句“等一會兒。”繼續與淺野長政下棋。三奉行一開始在別室裏等着，但是後來聽出裏面傳來下棋的聲音，又不見如水出來。盛怒之下就一言不發地離開了。等到如水下完了棋想要見三奉行的時候，卻一個人也見不到了。
如水園清
爲了使狂怒的秀吉原諒自己，如水決定出家。文祿二年(1593年)七月，黑田官兵衛剃髮，法號如水園清，開始了他隱居的生活。這個名字的由來是來源於“水乃方圓之器”“人在譭譽褒貶之間，心如水般清澈。”這兩句古語。本來官兵衛做好了最壞的打算(被迫切腹)。文祿三年(一五九四年)八月九日，他寫下了對嫡子長政的五條教訓之書。隨後命令弟弟黑田利高和家老粟山善助將這篇教訓狀送到了在朝鮮的長政手裏。
最終，秀吉念及如水過去的顯赫戰功，取消了切腹的命令，決定不再問罪。同時，秀吉向長政傳話，讓他免除後顧之憂。
但這時候的如水與秀吉已經貌合神離了，他開始私下與德川家康接觸。慶長三年(1598年)八月十八日，豐臣秀吉病死，享年六十三歲。正如如水所料想的那樣。秀吉死後，家康的野心已經暴露無遺了。
後來的慶長五年(1600年)七月，家康舉兵討伐上杉家，秀吉的遺臣石田三成認爲打倒家康的好機會來到了，於是在居城佐和山舉兵，關原之戰揭開帷幕。
聽到家康出兵的消息，如水立刻命令兒子長政參加家康軍，自己則和一部分家臣一起在豐前中津城留守。這時候，如水受到了三成寄來的密信：“請叫回您的兒子甲斐守(長政)，加入我這一邊來吧。”如水在回信中說，“如果你把九州七國賞賜給我的話，我就加入。”
結果，還沒等三成的密使把他的話帶回大阪，官兵衛已經舉兵了，他將平時所積蓄的金銀和米糧全部分發給各地的浪人，軍隊的數量很快飈升至九千人。得知官兵衛招募了這麼多士兵的家康和三成一時間都無法判斷他這麼做的目的。
與此同時，因在朝鮮戰場怯陣逃跑而被改易的大友義統得到石田三成資金上的支持和豐後國一國安堵的保證後，從海路殺回母國豐後。慶長五年九月九日，大友軍在別府灣上陸後佈陣於速見郡立石。原大友家臣吉弘統辛聽到這個消息後立刻放棄了筑後柳川立花家兩千石的優厚俸祿趕至豐後，竹田中川家的重臣田原紹忍也帶着中川家的旗印前來加勢。再加上四周聞訊而來的舊臣，兵力很快擴張至數千人。
九月十日，吉弘統辛率百餘人夜襲木付(杵築)城，遭到東軍鬆井康之部(細川家臣)的頑強抵抗。大友軍在苦戰攻入二之丸後，得到黑田援軍即將趕到的消息。不得不從海路退回立石。
在與大友軍交戰前，如水向義統發去書信，言及：“請與我站在一起，爲東軍盡忠。”如水的目的是爲了減少兵力上的消耗，此時的他的心中已經謀劃出天下三分的藍圖，即先定九州，再攻中國，進而與關原合戰的勝者爭奪天下。
大友義統
在沒有得到大友義統明確答覆的情況下，黑田隊與細川隊於十三日早朝從木付城出發，黑田佈陣於角殿山、細川隊則在實相寺山遙相呼應。聯軍的位置距離石垣原的大友軍直線距離僅三千米。不久，細川軍中的時枝平太夫隊在出擊時遭遇了大友軍的先頭部隊，雙方在五町(約五百五十米)的距離對峙。行至正午，兩軍逐漸接近並引發戰端。大友軍前部用鐵炮不斷向時枝隊射擊，後在松田有吉隊的攻擊下敗退，但時枝隊在反攻中被大友軍的密集鐵炮重創。不久，吉弘統辛在與鬆井有吉隊的激戰中陣亡。至下午六時，大友軍損失了吉弘統幸與宗像鎮續兩員大將，敗局已定。如水隨即率本隊趕到實相寺山勸說義統投降。十五日，義統通過母裏太兵衛向東軍投降。(後義統以死罪減一等判流放常陸國)
在擊敗了大友軍之後，如水繼續以破竹之勢攻克了三成方在九州的諸城。僅用兩個月時間就完全平定了豐前豐後兩國。此時，各地的守城軍隊都已經被派到關原戰場。九州已經沒有可以與之對抗的勢力了。
但如水的野心卻在九月十三日那天早早地結束了，這是因爲在關原合戰中以德川爲首的東軍僅用一天時間就擊敗了石田爲首的西軍。但更讓他沒有想到的是，使戰爭迅速結束的人，竟是他的兒子黑田長政。黑田長政繼承瞭如水出色的外交才能，使得小早川秀秋果斷投靠東軍。幸運的是如水此前一路攻打的均是西軍的城池，因此在戰後被免於處罰。
如水的嫡子長政憑藉着在關原戰場上獲得的軍功得到了筑前(福岡縣)五十二萬三千石的大封，如水則從豐前的中津城搬到了筑前的名島城。但是三面臨海一面環山的名島城無法滿足官兵衛的需求。於是，他就在古時候就以商業繁榮著稱的博多以西，福崎的丘陵地帶建造了一座新城。如水以黑田家最初發展之地備前福岡爲這座城命名。也就是今天的福岡市。隨後，如水選擇了這座城的三之丸作爲自己的隱居之所，靜靜的渡過了自己的餘生。
慶長九年(1604年)三月二十日，住在伏見藩邸的官兵衛誦讀了早已準備好的辭世句，在短冊上親自寫下了自己的名字，交給長政。不久在辰時(上午八點)靜靜的停止了呼吸。
“おもひをく ，言の葉なくて つひに行く。
道はまよはじ， なるにまかせて。 ”
法號龍光院如水園清。葬於博多崇福寺。享年五十九歲。
