Zamkowa Góra leży na krańcu północno-wschodniego grzbietu Masywu Trzy Korony w Pieninach Środkowych. Otoczona z trzech stron stromymi, trudno dostępnymi zboczami, jedynie w kierunku południowym połączona jest wąską granią Zamkową Przełęczą z Ostrym Wierchem. Szczęsny Morawski w dziewiętnastym wieku pisał o tej górze: "Pośrodku gór Pienin o paręset sągów od Dunajca, na lewym jego wybrzeżu, wznosi się góra w postaci klina: z jednej strony ukośno lecz bardzo stromo spadzista, z drugiej prostopadła”.

Północne zbocza  Góry Zamkowej opadają stromo do doliny Potoku Pieńskiego, która oddziela ją od tzw. Pieninek. W dolnej ich części znajduje się Pienińska Jaskinia. Nad nią, na grani o wysokości ok. 100 m raj dla botaników – tzw. Ogródki Kingi. Są to bardzo bujne płaty unikatowej naskalnej roślinności, wśród której występuje wiele rzadkich roślin pienińskich takich jak: smagliczka Arduina, chryzantema Zawadzkiego, aster alpejski, goździk okazały. Zachodnimi zboczami od głębokiego jaru Hulińskiego Potoku prowadzi ścieżka turystyczna, w końcowym odcinku są to długie schodki z poręczami. Schodki wyprowadzają na częściowo odnowione ruiny Zamku Pienińskiego pod północnym  szczytem Zamkowej Góry. Oprócz ruin zamku znajduje się tu sławna Grota świętej Kingi z jej posążkiem, postawionym tu dla upamiętnienia jej pobytu w Pieninach. Św. Kinga ratowała się przed Tatarami ucieczką do zamku Pienińskiego wraz z zakonnicami klasztoru klarysek w Starym Sączu. 

Od południowej strony Zamkowa Góra podcięta jest stromą ścianą 50 metrowej wysokości. Sam szczyt góry jest obecnie niedostępny turystycznie. Z ruin zamku prowadziła dawniej na wierzchołek ścieżka, wykonana przed I wojną światową przez pustelnika, który tutaj założył sobie pustelnię, zwaną Pustelnią  Pienińską. Kazimierz Sosnowski w 1930 roku napisał: „Są tu ławeczki do odpoczynku, a wokoło roztacza się krajobraz pieniński niewysłowionego uroku. Miejsce to jest tak piękne, że trudno od niego się oderwać; z dołu dolata szum Dunajca, którego modre tonie w trzech odsłaniają się punktach”. Obecnie widoki z Zamkowej Góry są mocno ograniczone, gdyż porasta ją całkowicie las, jedynie z ruin zamku widać szczyty Pieninek. Jest to dorodny las z przewagą buka. Wyrósł ona na pogorzelisku lasu sosnowego, który spalił się w 1915 roku w trwającym dwa tygodnie pożarze.