奈良時代、天平年間(729~749年)に聖武天皇に帰依を受けた行基大僧正によって開かれたと云われています。平安時代には弘法大師が修業した聖地とも云われています。
その後400年に渡って荒廃しますが、後白河上皇とその妹の八条女院の庇護を受けた阿観上人により再興していきます。これにより金剛寺は八条女院の祈願所となりました。その後も歴代女院の祈願所となり、貴賤を問わず多くの女性が帰依し女人高野として女性の信仰を集まました。鎌倉時代の末期には楠木正成が戦勝祈願を依頼したことから南朝と深く結びつきました。後村上天皇が正平9年(1354年)から5年間、行宮としましたが、北朝の三上皇が3年間幽閉され、南北朝のどちらも金剛寺に拠点を持つことになりました。
南北朝時代がおわると寺領から生産される作物で潤い、90を越える子院が建ち大きく発展していきました。特に金剛寺で醸造された「天野酒」は室町時代から三大美酒として全国で有名になり織田信長や豊臣秀吉にも愛されました。
女人高野は他にも
宀一山・室生寺や
万年山・慈尊院、高野山・女人堂などが有名です。