耶律楚材是蒙古帝国大臣，先后侍奉了成吉思汗、窝阔台汗两任大汗，为蒙古的建立，发展及繁荣都贡献出了自己的力量。在成吉思汗在任期间对耶律楚材就无比信任，在去世之前对窝阔台说一定要信任耶律楚材，对他委以重任。
窝阔台在位期间也听从耶律楚材的很多建议，是蒙古国得以不断地发展，壮大。但在窝阔台去世之后，皇后脱列哥那，史称乃马真后趁机夺取政权，收买了亲属及一些大臣，掌权长达5年之久。在皇后脱列哥那掌权期间，启用一些谄媚，不学无术之臣，打击忠良之士，汉法名臣。作为一个国家的掌权人，她只知道搜刮财物，尽情享乐，为人斤斤计较，注重私人恩怨。而作为国家重臣的耶律楚材也很自然的仕途开始变得坎坷，受尽排挤。
脱列哥那执政期间，重用奥都剌合蛮，对他十分信任。为此罢免了财政大臣和大宰相镇海，并将汗廷的印章和空纸交给了奥都喇合蛮，让他自己填写，后遭到耶律楚材的强烈反抗，最终不了了之。后来脱列哥那又颁布一系列法令支持奥都剌合蛮，而每次耶律楚材都给予反对意见，长此以往，真乃皇后便对耶律楚材有了很大的反感，处处针对耶律楚材。耶律楚材在政治上空有一腔抱负，但却无处施展。眼看着国家在脱列哥那的统治下法度不一，内外交困，使得人民怨声载道，官场上乌烟瘴气。耶律楚材长期郁郁寡欢，最终于公元1244年抑郁而死。
耶律楚材因与元乃真马皇后的政见多有不同，屡遭迫害，抑郁难平，于1224年6月20日，逝世于蒙古高原，享年55岁。耶律楚材死后乃马真后派近臣麻里扎查验家产，结果却发现耶律楚材为官数十载甚至作为两代皇帝重用的的大臣，家中只有琴阮十余，古今书画、金石、遗文数千卷而已。真是一心为公，清正廉洁。
蒙古人民听闻耶律楚材死讯之后也悲伤不已，纷纷用各自的行动来表达对耶律楚材的敬重和怀念。
耶律楚材死后遵循他的遗愿，将耶律楚材的遗体运回燕京故里，将他安葬在了玉泉山下的瓮山泊(今昆明湖)之滨，并且与他的先去世的夫人进行了合葬，并为之建庙立像。耶律楚材生前就十分喜欢玉泉山下的环境，他晚年号玉泉老人也正是因此得名。
耶律楚材祠是一所双层套园，院中有三间北房都是祠堂，并且摆放着一张供桌。门前竖着一座石碑，石碑上刻着乾隆皇帝的御制诗，旁边还立着一个石翁仲。三间北房里堆起一座几米高的土红色巨家，就是耶律楚材以及他的续弦夫人苏氏合葬的坟墓。耶律楚材祠因时代变迁和历史问题几经兴废。明代，由于中原人对于蒙古族的痛恨，耶律楚材祠遭到破坏，祠堂被毁，坟墓被铲平，石人也被推倒砸坏。到了乾隆十五年，乾隆对耶律楚材的政绩予以肯定，因此命人在原地重新修建祠堂，恢复墓地，并在中间供奉塑像，为其亲笔题诗。到1984年，耶律楚材祠经过修整后又重新开放，游人又可以来此处参观凭吊。
耶律楚材祠的恢复与开放，是世人对于耶律楚材所作所为的一种肯定和赞赏，是对于历史的一种认可。