三十三天洞开凿在普光寺的红沙岩壁上，距地表四十三米，共七层二十一窟，下大上小，呈宝塔形，这种结构的石窟造形独特，难得一见。洞窟自下而上整齐排列为五层。第一、二、三层各平列开窟五个，第四层开窟三个，第五层开一窟，最上层的左上方又开二窟。洞窟层层叠叠，每层之间都有隧道相通，由第一层北边入内，隧道呈之字形，回廊曲折。攀上最高窟为救度佛母洞，内塑绿度母像，还有一小窟相通。内塑白度母像。第五层一窟中有一砖塔，内藏观音菩萨斩孽龙的七星智慧利剑，其余各窟均开龛造像。这二十一个洞窟形制基本为两种；一种是平面文形，顶作人字坡，另一种是平面方形，顶作覆斗式四面坡，窟正中壁上都开一半圆大龛，龛内塑像大部分被毁。

    三十三天是梵文的意译，音译为"仞利天，佛教用语。佛教吸取印度古代神话传说和合印度教中关于“界"的种种说法，提出"三界"说。三界即欲界、色界、无色界，世间一切"有情众生"皆在三界中"轮回"不已。只有达到涅槃境界成佛，才能超脱三界之外，升入不生不灭的西方净土"极乐世界。三界中欲界为最低一界，人类社会居此界，地狱饿鬼、畜生亦居此界。天有六重，即"六欲天"，一是四天王天，在须弥山腰际，四天王居于此，离人世最近。二是仞利天，在须弥山之巅。居中央为帝释天，四方四峰各有八天，即四八三十二天，再加上中央帝释天，合为三十三天，此天主人为帝释。山顶上有座宫叫"善见"，是帝释的住所。在中国寺庙里，帝释的形象多为少年帝王像，而且是男女相。

    西藏、青海等地藏族信教群众和从事佛教事业者，称马蹄寺为"卓玛让像“，即菩萨自然出现的地方，若一生没来马蹄寺朝拜，会感到终身遗憾。普光寺的悬崖峭壁上有孔雀石自然形成的一尊绿像，石像形成的年月，夜里闪闪发光，被寺院学识精湛、德行高尚的堪布德古夏仲发现后，在夜深人静时，爬上悬崖，冒着生命危险把石像取了下来，请来高级雕塑师，雕成五寸高的孔雀石像。后泥塑一尊绿度母像，把自然形成的孔雀石像作为藏装进塑像腹中。多年以后，在普光寺北边的崖壁上有玛瑙石自然形成了一尊马头明王像装入马王塑像腹中，五层窟塔中藏有斩孽龙的七星智慧利剑。三十三天石窟的下面，有一个月牙形的石洞，藏语称"加给尔志朋"，即印度月牙洞，传说可西通佛国印度。这些名胜古迹大大提高了普光寺的知名度，吸引着众多国内外游客前来旅游观光，朝山拜佛。