Di origine molto antica, deve con molta probabilità il suo nome alla presenza di un piccolo tempio pagano dedicato alla Dea Venere e qui sapientemente collocato poiché Venere, nella tradizione nasce da una conchiglia uscita dal mare.
Nel II secolo "Portus Veneri" viene citato nell'Itinerarium Maritimum Imperatoris Antonini, e questo fa presupporre le sue antiche origini romane.
Antichi insediamenti monastici benedettini sono stati ritrovati a Portovenere e soprattutto nelle isole Palmaria, del Tino e del Tinetto, risalenti alla prima fase cristiana.

Del XI secolo sono le prime notizie documentate che descrivono questo luogo come il feudo dei Signori di Vezzano (Domini de Vethano), che ebbero dal vescovo l'investitura feudale a Vezzano Ligure. Questi signorotti, di probabile dinastia estense, nel XI secolo, sia nel golfo spezzino, che nelle valli del Vara e del Magra, dominavano numerosi ed importanti castelli e terre.
Nel secolo successivo (probabilmente nel 1139) il feudo venne ceduto a Genova che già dal 1113 aveva un fortilizio situato nella zona estrema della penisola, e Portovenere divenne quindi sia avamposto difensivo che punto di penetrazione nell'offensiva della Repubblica Marinara di Genova contro Pisa per la supremazia del Tirreno.
Venne trasformato da Genova già nel 1161 in borgo-fortezza con zone militari, residenziali, civili e religiose.
La popolazione fu messa duramente alla prova durante due attacchi da parte di Pisa negli anni 1165 e 1198, ma resistette grazie anche alla presenza del forte costruito nel 1162. In seguito viene eretta la chiesa di San Pietro
Nel 1241, i Pisani, conquistata la vicina Lerici, senza incontrare molta resistenza, tentarono di espugnare Portovenere ma furono respinti e per questo in seguito fortificarono Lerici.

Il grande poeta Francesco Petrarca fu amalliato dalla magnificenza della nuova struttura urbanistica e nel 1338 dedicò a Portovenere questi versi: "A quelli che giungono dal mare appare nel lido il porto di Venere e qui - nei colli che ammanta l'ulivo è fama che anche Minerva scordasse per tanta dolcezza Atene - sua patria...".
Nel 1340 però un terribile incendio distrugge parte della collina e del castello, e diede inizio ad un periodo di declino per Portovenere.
Nel 1490 Portovenere venne attaccato dagli Aragonesi con 35 galee e 14 navi, in una terribile battaglia che vide a capo della difesa il corsaro detto "il Bardella", che si narra cosparse gli scogli antistanti il porto con del sego per impedirne lo sbarco. Dopo 7 ore di cruenta battaglia gli aragonesi si ritirarono sconfitti, ma Portovenere e la Chiesa di S .Lorenzo e S. Pietro subirono pesanti danni.
I Genovesi, con l'introduzione delle armi da fuoco, utilizzarono meno il castello divenuto inadatto al nuovo tipo di difesa, comunque il borgo mantenne una certa importanza soprattutto per il traffico marittimo con l'esportazione di vini locali e marmo portoro dalla vicina isola Palmaria.
Il castello nel seicento con il contributo di Andrea Doria (che nel 1528 si rifugiò a Lerici) da cui prese il nome, venne riadattato alle nuove esigenze difensive e nel 1606 si costruì pure la Torre Scola sull'isola Palmaria a scopo difensivo e di avvistamento.
In seguito Portovenere cadde sotto i napoleonici che tracciarono una strada di collegamento diretta con La Spezia (di cui oggi non rimane nulla).