Nerheim tyder heimen til Njord, sjøguden og fruktbarheitsguden i den norrøne trua. Staden blei også kalla Njardheim i eldre tider. I førkristen tid stod det eit gudehov her. Bygdetinget har også truleg halde til her.
Gardstunet på det eine bruket på Store Nerheim reknar vi med vart reist omlag 1660, og har alltid vore sjølveigande. Mykje militært befal har budd på Nerheim. Den siste som dreiv garden var Anna Steensdotter, den yngste av ein søskenflokk på ni. Ho hadde ingen etterkomarar, og testamenterte garden til Sunnhordland museum i 1969.
I dag er bygningane restaurerte, og på garden står ei løe, eit fjøs, eit eldhus, eit stabbur og eit bustadhus med kjøkken i midten, to stover og lem.
