Navnet
Første gangen gårdsnavnet dukker opp i ei skriftlig kilde, blei det skrevet Skarsteen. Det var i 1521. Seinere var skriveformer som Scharsteen og Scharsten de vanligste, heilt til den danske skrivemåten ”sch” blei avløst av den norsk ”sk”. Samtidig fikk sisteleddet forma ”stein” i samsvar med vanlig uttale.
Da Oluf Rygh på slutten av 1800-tallet utarbeidde det store navneverket ”Norske Gaardnavne”, skreiv han et langt avsnitt om navnet Skarstein, der han drøfta ulike forklaringer på det første leddet. Han klarte ikke å avgjøre om det kom av ”skarf”, i betydninga naken fjellgrunn, eller av ”skar”, et lavere parti i en fjellrygg.
Begge forklaringene er imidlertid gale. Gården preges ikke av naken fjellgrunn, og det er lang vei til nærmeste skar. Derimot stikker ei stor og lett synlig steinblokk opp av sjøen utafor stranda, der sitter skarvene og ser etter fisk. Det er en typisk skarvstein, kvit på toppen av guanoen som skarvene etterlater seg.
Sett fra sjøsida var denne skarvsteinen et godt landemerke, og den ga navn til gården. Alle kjente måter å skrive navnet på, har ubestemt form. Det viser at dette er et navn fra før Svartedauen.
Den sørligste delen av Skarstein, heilt til grensa mot Breivika, kalles til vanlig Stranda. Det er et mye brukt stedsnavn i Andøy på slik områder.

Stedet
Skarstein grenser i nord mot Fiskenes og i sør mot Breivika ved Skjellelva. Oppe på fjellet i vest har gården felles grense med Stave og Bleik. Skillet mot Breivika har vært kommunegrense og er fortsatt soknegrense.
Området innafor gårdsgrensene omfatter et to kilometer breitt myrbelte mellom sjøen og fjellfoten. Langs sjøen strekker et langt ra seg, der ligger dyrkajorda og bosetninga.
Den eldste bosetninga på Skarstein lå der stranda svinger mot nordøst, og med det gamle fellestunet et stykke fra sjøen. Bortsett fra en gårdpart som blei bosatt ved utløpet av Littlelva rundt 1880, fikk ikke Stranda bosetninga før på 1900-tallet.
Skarstein har naturlig nok hatt sterkest kontakt med de nærmeste nabogårdene, Fiskenes i nord og Breivika samt Ramsa i sør, som alle kan nåes lett over land. Dessuten har gården hatt god forbindelse til Andenes, også før veier blei bygd langs sjøen og seinere over myrene.
Alle gårdene på østsida av Andøya har hatt nære forbindelser til områdene i Sør-Troms, det gjelder også Skarstein. Dit måtte man sjølsagt bruke båt.

Jorda
Skarstein og nabogården Fiskenes blei i tidligere århundrer vurdert svært likt når det gjaldt forholdene for jordbruk. De hadde samme landskyld – 3 våg – før 1800-tallet, og begge er en del av samme landskapstype.
Et matrikkelutkast fra 1723 sier at jorda på Skarstein fikk godt med sol, men den besto mest av myr og ”morass”(sumpaktig jord). På den tida var klimaet kaldt og rått, det gjorde korndyrking på kysten umulig. Likevel antok kommisjonen at man kunne så fire skjepper korn (omlag 70 liter) på gården. Dette var et anslag, ikke et utsagn om at korn blei dyrka der.
Kommisjonen antok videre at gården kunne fø to hester, ti kyr, ti ungdyr og tolv sauer. Det var nokså likt tallene som blei oppgitt for Fiskenes.
Skarstein hadde litt skog til brensel, men ingen seter eller kvern. Alt sett under ett meinte kommisjonen at landskylda burde settes ned med to pund. Matrikkelutkastet blei til slutt forkasta, derfor sto landskylda på Skarstein uendra til først på 1800-tallet.
Neste kommisjon vurderte gårdene i Andøy i 1802. Den delte gårdene inn i fem klasser etter ”jordverdi”, altså bonitet, og plasserte Skarstein i den midterste klassen sammen med blant andre Fiskenes, Breivika og Ramsa.
Kommisjonen sier at det er mulig å dyrke korn på Skarstein, men nevner ingen åkerjord der. Den sier videre at beitene er svært dårlige, men meinte likevel at gården hadde fôr til tolv kyr, det samme som Skarstein og Breivika.
Også denne gangen nevnes litt skog til brensel, men torvmyra var meget dårlig. Til slutt har kommisjonen ei opplysning om kvern på gården. Trolig hadde det vært ei tidligere der, og Skarstein kunne på nytt få ei mølle. Mest sannsynlig blei Storelva brukt til kverndrift, kanskje ei flomkvern.
Neste omtale er fra 1868, da blei Skarstein vurdert litt forskjellig fra nabogården Fiskenes. Skarstein hadde mer åkerjord og langt større utslåtter, men likevel litt mindre høymengde. Derimot lå folltallet til potetavlingene på 6, det dobbelte av Fiskenes, og det blei dyrka bygg på gården.
Kommisjonen sier at Skarstein hadde gode og tilstrekkelige beiter i fjellet og langs stranda. De ga nok fôr til en hest, tolv kyr og nesten tretti sauer. Og myrene kunne gi mellom tre og fire tønner molter hvert år.
Husdyrtellinga fra 1865 gir høyere tall for buskapene. Da hadde Skarstein sju hester, over tjue kyr og vel førti sauer. Ti år etter lå tallene stort sett på det samme, og buskapene på Skarstein var i gjennomsnitt en halv gang større enn på Fiskenes.
Rundt 1900 var jorda på Skarstein delt i åtte bruk. Omtrent samtidig blei de gamle beitene på Stranda stykka ut til nye gårdparter, mens det meste av jorda i det gamle gårdsområdet fikk stadig sterkere oppdeling. Det viktigste unntaket var Nordgården, som stort sett unngikk å bli delt.
Små og smale jordstykker egna seg dårlig da moderne jordbruksmetoder blei tatt i bruk på andre halvdel av 1900-tallet. Til tross for mye god jord opphørte gårdsdifta på Skarstein til slutt.

Sjøen
Alle de gamle matrikkelarbeidene nevner at Skarstein ligger nær fiskefeltene, men har dårlig lending. Med få unntak fikk alle gårdene på østsida av Andøya samme vurdering, men noen hadde små bukter som lå skjerma mot verste været.
Skarstein mangla ei slik havn. Stedet blei derfor ikke et fiskevær som trakk båter til seg fra andre steder, men fisket har alltid vært ei viktig næring for oppsitterne. Så lenge man brukte båter som kunne settes opp når uvær trua, var ikke mangelen på ei lun havn avgjørende.
Jektene krevde bedre havneforhold enn nordlandsbåtene. Fiskenes og Haugnes hadde jekt på 1500-tallet og kanskje århundret etter, og etter 1600 bodde det en jektestyrmann på Skarstein. Vi veit ikke hvem som eide jekta han seilte, men trolig hørte den heime et annet sted, kanskje på Andenes. Det ser likevel ut til at noen av jektemannskapet bodde på Skarstein som husmenn.
Da fiskerne skaffa seg båter med dekk og motor fra 1905 og utover, blei fraværet av ei skjerma havn på nytt ei hindring for stedet. På 1930-tallet blei det bygd en molo som ga ly mot nord, men det gikk femti år før en molo på sørsida fullførte havna. Da hadde ikke Skarstein større fiskerbåter lenger, og det blei først og fremst ei småbåthavn.

Eierne
Alle gårdene på østsida av Andøya fra Åse til Andenes er gammelt krongods. Først på 1800-tallet overtok den norske staten som eier, og den solgte etter hvert de fleste gårdene til oppsitterne. Det gjaldt blant annet Skarstein, men ikke de nærmeste nabogårdene i sør, Breivika og Ramsa. Der kunne det finnes kull og andre verdifulle ressurser, og staten beholdt skjøtet til langt ut på 1900-tallet.
Hans Andreas Martinussen og Olena Maria Olsdtr kjøpte Nordjorda i 1842 og blei de første sjøleierne på Skarstein. Elleve år seinere fulgte naboene på sørsida etter, og fra 1858 eide alle på gården jorda de dreiv.

Bosetninga
Skarstein er en av de mange gårdene i Andøy med svært gammel bosetning, kanskje heilt fra steinalderen. Den gamle landskylda på 3 våg var sikkert enda høyere før Svartedauen, men vi har ikke så tidlige kilder for Skarstein.
To skattelister fra 1500-tallet er de eldste kildene som omtaler bosetninga på Skarstein. Gården hadde da tre oppsittere, en av dem husmann, de to andre leilendinger. Antakelig bodde de i et fellestun, det kan ha stått på Bakkan (seinere løpenr. 80).
1600-tallet var prega av harde levekår, mest på grunn av ”den lille istida”, som ødela for jordbruket og trolig også fisket. Utover århundret falt folketallet de aller fleste stedene, og Skarstein kan ha vært folketom noen år sist på 1650-tallet. Det samme skjedde nitti år etterpå.
Fram til 1800 svinga folketallet på gården mellom en og fem familier, så kom ei ny nedgangstid som nesten knekte bosetninga. Etter 1840 begynte folketallet å stige og passerte femten familier like før 1900.
Veksten fortatte inn på 1900-tallet. Da blei veien mellom Risøyhamn og Andenes ferdig gjennom gården, og omtrent samtidig begynte etableringa av nye boplasser sørover Stranda, etter hvert heilt til grensa mot Breivika. Det kom færre nye bruk ved grensa mot Fiskenes, men nok til at bosetninga på Skarstein danner en del av stripebebyggelsen fra Ramsa til og med Fiskenes.
I veksttida etter 1900 blei det starta handel på Skarstein, og den fikk lang levetid. Økt folketall førte også til oppretting av skolekrets like etter 1930, den blei nedlagt på 1960-tallet.
Etter krigen måtte veien legges om på grunn av flyplassutbygginga. Krysset der veien svinga mot nordvest, blei lagt midt på Skarstein. Det førte ikke med seg ny virksomhet på stedet, men Skarstein har uansett fortsatt å være ei livskraftig bygd og vil fortsette å være det.