1666年、池田光政は津田永忠の案内で閑谷を訪問。
庶民教育・学校の設置を目的に、西中山下に岡山藩学校を設置。
1670年、池田光政は津田永忠に閑谷学校の建設を命じ、学房・飲室・講堂・聖堂などが完成。
屋根瓦には備前焼瓦を使用。
以後、聖堂と講堂の改築、芳烈祠の建立、石塀と門の設置などの再整備を1702年まで行った。
椿山(御納所)が築かれ、椿山墓所には光政の爪や髪の毛、歯が埋められているとか。
岡山藩主池田綱政は学校周辺の田畑を学校田とした。
1870年、閉鎖されたが、中川横太郎、谷川達海らが中心となって再興させ、閑谷精舎に改称。
山田方谷、鎌田玄渓、興譲館の坂田警軒が招聘されたが、休校。