大化改新に天智天皇側について、同族の蘇我氏を滅ぼした蘇我倉山田石川麻呂（そがのくらのやまだのいしかわまろ）の発願により641年（舒明天皇13年）に建て始めたとされている寺です。石川麻呂は、入鹿殺害のクーデタに加わり、右大臣に任ぜられましたが、649年（大化5）、反乱の疑いをかけられて、この寺で自害しました。しかし、その後、疑いは晴れ、皇室の援助で寺の造営は続けられ685年に完成しました。しかし中世以降は衰微し、明治時代初期の廃仏毀釈の際に廃寺となりましたが、明治25年（1892年）に小寺院として再興されています。 

発掘調査では中門・塔・金堂・講堂を南から北へならべ、回廊が塔・金堂を囲むという伽藍配置が明らかになり、金堂の風招・專仏・鴟尾・鬼瓦・瓦などが発見されています。また1982年からの調査では倒れた東回廊の連子窓が土に埋もれた状態で残っていることがわかり、古代建築の貴重な資料となっています。現在は、山田寺跡から約300メートル西にある飛鳥資料館に展示されています。尚、現在、奈良の興福寺宝物館に収納されている国宝の仏頭は、この山田寺にあった丈六薬師仏といわれています。