Egy vadászat alkalmával a kutyák egy szarvast vettek üldözőbe, az a sziklagerincre menekült, ahol később a vár is felépült. Mivel menekülni tovább nem tudott, a szikla tetejéről a mélybe ugrott. Innen ered a falu neve a monda szerint. A hegygerincre épült vár maradványai ma is láthatóak, a falu központjától negyedórás könnyű túrával megközelíthető.

Szarvaskő az egri püspökség ősi birtoka volt. Várát először az egri káptalan 1295 évi határjáró oklevele említette, a helység határa ekkor a bátori határral érintkezett. Az 1332–1337 évi pápai tizedjegyzék felsorolásában szerepel plébániája is, sub castri episcopi név alatt, 1438-ban várnagyát is említették, aki egyúttal az egri püspökség tisztje is volt. A vár alatt épült helység a 14-15. században Szarvaskőváralja néven szerepelt. Az 1493–1494 évi egri püspöki számadáskönyvekben a település is a püspökség birtokai között szerepelt, amely egyben vámhely is volt. 1527-ben Szapolyai János király a várat és az alatta fekvő falut Erdődy Simon egri püspöknek adományozta, aki testvérét, Pétert tette meg várnagynak. 1527-ben Eger I. Ferdinánd birtokába került. Erdődy Péter Erchy Ferenccel és János király többi híveivel, közel fél éven át tartotta magát Szarvaskő várában. 1528 tavaszán azonban I. Ferdinánd vezérei ostrom alá vették Szarvaskőt, és azt rövid idő alatt el is foglalták.

1530-ban a Ferdinánd párti Horváth Ferenc volt Szarvaskő várnagya, aki a vár összes tartozékait elfoglalta. Időközben az I. Ferdinánd által kinevezett Szalaházy Tamás († 1536) egri püspök kénytelen kelletlen belenyugodott a foglalásba, az elfoglalt püspökségi javakat zálogba adta Horváth Ferencnek. De Horváth Ferenc ezzel nem elégedett meg, a szomszéd birtokokra is rátette kezét, ez miatt sűrűn hangzottak ellene a panaszok az országgyűlésen. 1540-ben Frangepán Ferenc egri püspök is Ferdinándhoz pártolt és Szarvaskő visszaadását követelte. De Horváth Ferenc sokkal befolyásosabb ember volt, semhogy a püspök ellene valamit tehetett volna.

Amikor Nógrád és Hatvan török kézre jutott, az egri vár biztosítása volt Heves vármegye rendjeinek egyik fő törekvése. Az 1545 évi országgyűlésen a rendek Szarvaskő lerombolását határozták el és kimondották, hogy a vár jövedelmeit az egri vár fenntartására fordítsák. 1549-ben, Oláh Miklós egri püspökké történt kinevezése után Horváth Ferenc átadta a szarvaskői várat Dobó Istvánnak, aki Szarvaskőre Szalkay Balázst nevezte ki várnagynak, Horváth Ferenc még 1550-ben is bírta a vár tartozékait. 1558-ban Verducz Antal, az újonnan kinevezett egri püspök vette birtokába a várat és várnagyul Gadóczy Gábort nevezte ki. 1596-ban, Eger eleste és a szerencsétlen kimenetelű mezőkeresztesi csata után Gáll János várnagy az őrséggel megfutamodott, elhagyta a várat, ekkor Szarvaskő a törökök kezébe került. 1596-tól kezdve Szarvaskő a hatvani szandzsákba tartozott.

Miután a vár a törökök birtokába került, nemcsak a vár belterülete, de a vár falai alatt elhúzódó házak is török birtokokká váltak. Szarvaskő egész 1687-ig maradt török kézben. 1687-ben, Dória János hadainak közeledtére a törökök belátták az erdő tarthatatlanságát és odahagyva a várat, Egerbe vonultak. Eger visszavétele után a vár ismét az egri püspökök birtokába került. Ide vonult vissza 1710-ben Telekessy István egri püspök, aki II. Rákóczi Ferenc alatt oly nevezetes szerepet játszott; miután püspöki méltóságától megfosztották, itt készítette védőiratát, melynek eredményeképpen, a pápa közbenjárására, visszakapta főpapi székét. Ettől kezdve a helység 1848-ig az egri püspökség, majd érsekség földesúri hatósága alá tartozott. Az egykori épületből mára csekély falcsonkok maradtak.