Согласно легенде, считается, что ступа на холме возникла сама по себе. Раньше на ее месте было озеро, в глубинах которого жил змей. В центре озера возвышался небольшой островок — нынешний Холм обезьян. На нем-то и возникла хрустальная ступа. Будда, пролетая над озером, заметил ступу, разрубил ее своим мечом и осушил озеро, чтобы все люди имели доступ к священной ступе. С тех пор она стала доступна всем верующим.
Вокруг ступы можно совершить обход — кору. Есть два маршрута коры: вокруг холма — внешняя кора, вокруг главной ступы — внутренняя кора. Чтобы подняться к ступе, необходимо пройти по длинной лестнице посреди статуй Будды. Считается, что во время такого подъема по лестнице человек накапливает заслуги и очищает душу.
Рядом с храмом Сваямбунатх находится храм Харити, которая считается защитницей детей. К Харити часто приходят семьи с детьми и буддийские учителя.