Nejstarší písemná zmínka o hradě Kolštejn, postaveném v blízskosti obchodní stezsky ze Slezska do Olomouce, pochází z roku 1325. Touto listinou daroval majitel hradu Jan Wustenhube rozsáhlé pozemky, obec a hrad Kolštejn ve slezském Kamenci. hrad byl zřejmě postaven v letech 1308-1310 v období bezvládí po vymření Přemyslovců za účelem loupežení a kořistění, po té vzniklo patrně i městečko Kolštejn. Právě z té doby se za hradbou nacházela stojící okrouhlá věž, tzv. bergfrit, jejíž fragmenty jsou patrné dodnes.
Ve 30. letech 14. století patřil hrad českému králi Janu Lucemburskému, který jej roku 1339 daroval Pertoldu z Lipé. Koncem 14. století získali panství a hrad páni z Valdštejna, z nichž v předhusitském a husitském období proslul Hynek zvaný také Kolštejnský. Hrad Kolštejn se stal jeho hlavním sídlem a hrál významnou úlohu za husitských válek. Ve službách císaře Zikmunda byl však Hynek v září 1427 zabit a poté získal Kolštejn Markvart ze Zvole.
Právě za pánůze Zvole dostal hradní areál svou konečnou podobu. Ve východní části hradu byl postaven nový palác a bylo vybudováno rozsáhlé opevněné předhradí severně od hradního jádra. Patrně tehdy byla také postavena gotická vstupní věže, která byla renesančně přestavěna v 16. století.
Po smrti Václava ze Zvole přešlo panství na jeho setsru Barboru, která přenechala část panství svému choti Janu Černickému z Kácova. Ten ho v roce 1575 prodal Karlu staršímu ze Žerotína. Roku 1578 musel Karel, patrně pro velké dluhy, přenechat kolštejnské panství svému bratrovi Janu ml. ze Žerotína. Ten zemřel bezdětný a jeho sestra Bohunka panství v roce 1581 prodala spřízněnému rodu Bruntálských z Vrbna. Za obou Žerotínů byl areál středního hradu postupně přebudován na zámek.
Následně panství zakoupil Hynek starší Bruntálský v Vrbna. Ten v roce 1584 vydal pro poddané kostelní, školský a sňatkový řád, kterým na kolštejnské panství zavedl luteránskou víru. Po jeho smrti převzal roku 1596 panství jeho syn Jan starší, který studoval na švýcarských kalvinistických univerzitách. Po návratu a převzetí panství byl činný i politicky, v letech 1601 – 1603 byl správcem nejvyššího hejtmanství markrabství moravského. Jeho dva synové, Hynek ml. a Bernart, společně drželi Kolštejn v letech 1608 – 1614. Nedaleko zámku vystavěli nový kostel, nynejší farní kostel Archanděla Michaela, původně však zasvěcený Zmrtvých vstání Krista.