公元7世紀起，耶路撒冷作爲基督教的聖地一直處於穆斯林的統治之下，給基督徒的朝聖帶來了很大的不便。1095年，教皇烏爾班二世(Urban Ⅱ)在法國克萊蒙召開的宗教會議上，號召進行十字軍東征，奪回聖地耶路撒冷。教皇宣稱，參加十字軍的人，罪行都將得到赦免。1096年，第一次東征開始，所有人軍服上都繡着十字，故稱“十字軍”。第一次十字軍東征較爲成功，佔領了耶路撒冷，建立了耶路撒冷等4個基督教王國。1147年，爲了解救穆斯林對基督教王國的攻擊，第二次十字軍東征發動。之後又陸續發動了8次，直到1291年才結束，基督教勢力完全撤出了耶路撒冷等地區。紋章起源於12世紀，正是歐洲十字軍的第一次東征與第二次東征之間，於是，有學者認爲紋章起源於伊斯蘭或拜占庭的習俗;又因爲在古希臘羅馬的軍旗、皇帝標誌及日耳曼人早期的符號中發現類似紋章的圖案，因此也有學者將兩者作爲紋章的起源。
但現在學術界已經否定了這幾種起源，普遍認爲紋章產生於中世紀歐洲社會，背景是公元“1000年後封建社會的變化”與“11世紀末至12世紀前幾十年軍事裝備的演變”。紋章是“中世紀盛期西歐文化的獨特產物……在歷史上並無直接的榜樣”。這從紋章的兩個詞源中也可得到旁證。紋章(Wappen)一詞起源於中古德語“Waffe”(武器)，其早期即作爲武器的輔助工具使用。12世紀晚期，“Wappen”演變成“盾牌標誌”的含義。16世紀時，“Waffe”(武器)作爲戰鬥工具和“Wappen”(紋章)作爲盾牌標誌的含義才完全分開。紋章學(Heraldik)的詞源是“Herold”，起源於法語和拉丁語，意即傳令官，負有登記、檢驗比武的騎士紋章的職責。從這兩個詞的發展中，也可窺見紋章與當時的封建制度有着密切的關係。西歐在封建社會形成的過程中，產生了大量的騎士和采邑，貴族之間爲了爭奪領地，戰爭頻繁。12世紀時，隨着冶煉技術的發展和軍事裝備的改善，騎士全身都披戴了盔甲，戴上全罩式頭盔，只露出雙眼。
爲了在戰場上區別敵友，騎士們開始在盾牌和旗幟上畫上特定的符號，這些符號逐步固定下來，由此形成了紋章。中世紀形成了獨特的騎士文化。騎士崇尚忠誠、勇敢。騎士的紋章也多與騎士的戰爭經歷相關。例如，布呂歇爾(Blücher)家族以兩把鑰匙作爲紋章圖案。據傳說，這個家族的祖先是個勇敢的文德人武士。有一次，他跟從薩克森公爵獅子亨利遠征羅德初，布呂歇爾家族出了一位名將——在滑鐵盧打敗拿破崙的普魯士元帥格布哈特·萊布雷希特·馮·布呂歇爾(Gebhard Leberecht von Blücher)。 布呂歇爾家族紋章又如阿尼姆(Arnim)家族，其族徽是紅底上兩條白色的條紋。據傳說，在一場針對弗里斯人(Friesen)的戰役中，將軍命令一個姓安海姆(Arnheim)的容克貴族去摧毀他與弗里斯軍隊之間的一座木橋，以保證不被弗里斯人追到。
安海姆勇敢地將橋的木板拆下，丟進水裏。但當弗里斯人的軍隊追來時，仍剩下兩塊橋板。安海姆獨自堅守陣地，直到援兵到來。後來他得到了荷蘭領地作爲獎賞，受封爲騎士，並獲得紋章。該家族紋章中兩條白色的條紋象徵了戰鬥中的兩塊橋板;紋章裝飾有騎士頭盔、斗篷、貴族冠冕和牛角。家族姓“Arnim”就是由“Arnheim”演變而來。又如巴瑟維茨(Bassewitz)家族以野豬爲紋章。據傳說，該家族的博恩·馮·巴瑟維茨(Bernd von Bassewitz)獲梅克倫堡公爵冊封，成爲騎士。在一場戰役失敗之後，他在逃跑時，正好有一隻野豬跟在後面，擋住了追兵，他因此獲救。後來該家族紋章採用野豬圖案，也許就是爲了紀念野豬的救命之恩。騎士們也會將兇猛的獵物作爲自己的紋章，以此彰顯自己的勇猛。如據《馬內塞抄本》記載，哈瓦特(Herr Hawart)家族的紋章是金底黑熊，圖中描繪了哈瓦特將一支長矛插入黑熊胸膛的場景。
“能在戰鬥中打敗一頭熊在當時還是了不起的戰績，取得這一戰績者很有可能自豪地將熊頭圖案放到自己的紋章中。”這成爲哈瓦特家族紋章的起源。在和平時期，騎士必須操練武藝，爲隨時可能爆發的戰爭做準備。君主會舉行騎士比武大賽，騎士們參加時會登記紋章。騎士比武大賽誕生於法國，後來傳到德國、英國等歐洲其他地區。“13世紀之前的比武大賽以實戰訓練爲主，目的是以模仿戰爭的方式鍛鍊參賽者適應戰場上的各種情況。13世紀以後，比武大賽向慶典和儀式型轉變，參賽者往往藉此表現自己的勇敢和武功技能，並更加側重追求觀衆的讚賞。”尤其是獲得貴族女性的青睞。《馬內塞抄本》記載了13世紀後半期，騎士瓦爾特·馮·克林根(Walther von Klingen)參加比武的場景：他的長矛刺向對方，戰馬頂住對方馬頸，即將獲勝;看臺上則站有5名貴族女性，目光都集中在他身上，露出讚賞的表情。他的盾牌和馬的戰斧上都畫有黑底白獅的紋章，對方則是紅黃條紋盾徽。
