正確な創建年は不明ですが、桓武天皇が病気で苦しんだ際、祈祷の儀式が行われ、勅命で
興福寺の高僧・賢環により最初の建物を建てられた事が起源になっているそうです。
その後、
興福寺の末寺でしたが、元禄7年(1694年)護国寺の末寺になり、桂昌院の寄進により堂塔の修理が行われました。
元禄11年には護国寺から独立し、真言宗豊山派の一寺に、更に昭和39年(1964年)に真言宗豊山派から独立し真言宗室生寺派の大本山になりました。
高野山を含む真言宗の寺院の多くは女人禁制でしたが、室生寺は女性を受け入れていたため鎌倉時代から「女人高野」として知られていたようです。
女人高野は他にも
万年山・慈尊院や
天野山・金剛寺、高野山・女人堂などが有名です。