Saga eyjunnar er svört og aðstæður geta verið erfiðar þar. Hún liggur á miklu þokusvæði og það er mjög erfitt að komast í land þar. Fyrir utanaðkomandi er þetta ein erfiðasta eyja heims til að komast til. Háir klettaveggir og mikil ölduhæð gera fólki erfitt fyrir. Þetta hefur að vonum dregið úr samskiptum eyjaskeggja við umheiminn en um leið eru þetta aðstæðurnar sem drógu fyrstu íbúana til eyjunnar.
Eyjaskeggjar eru að stærstum hluta afkomendur þeirra sem tóku þátt í uppreisninni á skipinu Bounty 1790. Uppreisnarmennirnir settu skipstjórann og 18 aðra úr áhöfninn í björgunarbát og sigldu síðan til Pitcairn þar sem þeir fóru í land og brenndu Bounty. Þar með var eyjan þeirra. Það tók breska flotann síðan nokkra áratugi að finna uppreisnarmennina, svo góður felustaður var eyjan.
Á síðari tímum hafa ýmis hneykslismál komið upp á eyjunni. Í upphafi aldarinnar var komið upp um víðtæka kynferðislega misnotkun á börnum þar og voru margir sakfelldir fyrir slík brot, þar á meðal héraðsstjóri eyjunnar, Steve Christian. Ofbeldið teygði sig 40 ár aftur í tímann og hafði stúlkum allt niður í sjö ára aldur verið nauðgað. Sifjaspell kom einnig við sögu. Eftir þetta fækkaði íbúunum um helming. 10 til 15 voru dæmdir í fangelsi í samræmi við nýsjálensk lög og aðrir fluttu á brott því þeir töldu samfélagið svo skaddað eftir þetta.
Yfirvöld hafa reynt að lokka fólk til búsetu á eyjunni en árangurinn hefur ekki verið mikill. Það er lítið um vinnu þar og því erfitt að fá fólk til að flytja þangað. Margir eiga einnig erfitt með að búa við eins mikla einangrun og er á eyjunni. Birgðaskip kemur þangað ársfjórðungslega með vörur frá Nýja-Sjálandi.
