麥鐵杖生活於陳朝和隋朝期間，隋朝滅掉陳朝後，他轉入大將軍楊素的軍中，被派往清流縣，在那裏多次立下戰功。正巧江東發生叛亂，楊素派遣鐵杖前往江南偵察情況。
麥鐵杖頭戴草帽，在夜間漂水渡過江河，詳細瞭解了敵人的營地情況後回報了楊素。後來他又一次潛入敵營偵察，結果被敵軍抓住，賊帥李棱派出三十名士兵押送他，並準備把他綁送給高智慧。押送過程中，抵達肻亭時，士兵們吃飯休息，看到他飢餓的樣子，就解開了他的綁縛讓他吃飯。麥鐵杖趁機奪過士兵的刀，亂砍押送他的士兵，直到全部殺盡，然後一一割下他們的鼻子，懷揣着回到了楊素那裏，讓楊素非常震驚。後來在功勞評定時，麥鐵杖卻沒有得到應有的獎賞。正好碰上楊素坐驛車返回京都，鐵杖卻選擇徒步追隨楊素，每晚都在同一家店裏休息。
直到楊素髮現麥鐵杖時，才明白他的用心。楊素特地向隋文帝請奏，請求授予麥鐵杖儀同三司的官職。但因爲麥鐵杖不識字，於是被送回了家鄉。成陽公李徹非常欣賞鐵杖的勇猛，於是在開皇十六年(597年)徵召麥鐵杖到京城，並任命他爲車騎將軍。他仍然跟隨楊素北征突厥，還被封爲上開府。
