Eskifjörður er einn af þrem elstu verslunarstöðum á Austurlandi, sem enn gegna því hlutverki.  Verslun hefur verið þar samfellt síðan 1798, þegar danska verslunarfyrirtækið Örum & Wulff hóf starfsemi sína hér á landi og reisti fyrsta verslunarhúsið í Útkaupstað.  Eitt hús frá þeirri verslun stendur enn, svokölluð Gamla-búð.  Árið 1802 byggði fyrsti íslenski kaupmaðurinn, Kjartan Þorláksson Ísfjörð, verslunarhús í Framkaupstað og síðan hvert húsið af öðru.  Rak hann verslun þar til dauðadags 1845.  Á Eskifirði hafa jafnan verið síðan tvær eða fleiri verslanir.

Embætti Suður-Múlasýslu var flutt til Eskifjarðar 1853 og hafa sýslumenn Sunnmýlinga búið þar síðan.  Fyrsti læknirinn settist að á Eskifirði 1861, hafa læknar samfellt starfað þar frá þeim tíma.

Fólki fór ekki að fjölga verulega fyrr en að Norðmenn hófu síldveiðar um 1879.  Þá komu sex ár í röð með góðri síldveiði, vantaði því alltaf fólk til starfa.  Þegar þess er gætt að á þessum tíma var mikil óáran í sveitum Austurlands, eftir eldgos, öskufall og gripafelli, var eðlilegt að fólk flytti að sjávarsíðunni, þegar möguleikarnir til lífsbjargar mynduðust þar.  Einnig flutti til Eskifjarðar á þessum árum fólk úr Skaftafellssýslum, en þar var þá orðið mjög landþröngt.

Í Útkaupstað byrjaði að versla 1863 Carl D. Tuliníus, kaupmaður, og rak þar verslun það sem eftir var ævinnar, eða í fjörutíu og tvö ár.  Hann tók fljótlega þátt í síldarútgerðinni og var mjög athafnasamur.  Þá voru Seyðisfjörður og Eskifjörður einu útflutningshafnirnar á Austurlandi.  Á árunum 1880 - 1885 voru skráðar til útflutnings 170.142 tunnur af síld frá Eskifirði.  Sumir af norsku síldveiðimönnunum ílentust hér og Íslendingar lærðu að fara með veiðarfærin (landnæturnar), og tóku við þeim.  Með þessum veiðarfærum var veidd síld af og til allt til ársins 1934.  Jafnframt síldveiðunum var róið á opnum bátum til þorskveiða yfir sumarið, legið við á ystu nesjum og í Seley.  Var fiskurinn saltaður, síðan þveginn og sólþurrkaður.  Árið 1890 voru útflutningshafnir á Austurlandi orðnar fjórar, þá voru skráð til útflutnings frá Eskifirði 3270 skippund af saltfiski.  Fimm árum seinna urðu þáttaskil í útgerð á Austfjörðum, þegar byggð voru átta íshús til beitugeymslu, þar á meðal eitt á Eskifirði.  Bygging þeirra fór fram undir yfirstjórn Ísaks Jónssonar frá Mjóafirði, en hann hafði dvalið í Ameríku í nokkur ár og kynnst rekstri frystihúsa þar.  Annar atburður varð þetta ár til að auka á athafnalífi á Eskifirði, þegar Þórarinn E. Túliníus stofnaði "Thorsfélagið" sem annaðist að mestu leyti millilandasiglingar milli útlands, Austfjarða og Norðurlanda í 17 ár.  Félag þetta hafði aðsetur í Kaupmannahöfn, en Eskifjörður var aðal umskipunarhöfnin hér á landi.

Árið 1902 voru íbúar á Eskifirði 228. 

Vélbátaútgerð hófst um 1905, þá var enn brotið blað í sögu staðarins, íbúum fjölgaði ört, svo að 1910 voru þeir orðnir 425.

Reyðarfjarðarhreppur hinn forni náði frá Gerpi, það er um Vaðlavík, norðurströnd Reyðarfjarðar, Eskifjörð, Kálkinn og Innri-Reyðarfjörð út fyrir eyri.  1906 var honum skipt í þrjá hreppa, Helgustaðahrepp, Eskifjarðarhrepp og Reyðarfjarðarhrepp.  Land Eskifjarðarhrepps náði þá frá Bleiksá að innan, út fyrir Mjóeyri að læk sem þar er, voru steyptir stólpar á hreppamörkunum 1923-24 af Helga H. Eiríkssyni, sjást þeir enn 1978.  Eskifjarðarhreppur eignaðist jörðina Svínaskála 1963 en hreppamörkum að utan hefur ekki verið breytt.  Í ársbyrjun 1969 bættist svo enn við hreppslandið, þegar dalurinn inn af firðinum og Hólmaströnd voru sameinuð Eskifirði.  Var það gert með lögum sem gildi tóku 1. janúar 1969, þar stendur: "Mörk Eskifjarðarhrepps í Suður-Múlasýslu skulu vera sem hér segir:  Frá Hólmanestá eftir línu dreginni í beina stefnu á stað þrjá metra í hánorður frá svonefndu Völvuleiði á Hólmahálsi og þaðan í beina stefnu á austurkamb Hólmatinds, síðan inn eggjar á vatnaskilum," o.s.frv.

Kaupstaðarréttindi fékk Eskifjörður 10. apríl 1974.

Á öðrum áratug aldarinnar bættist við bátaflotann, þannig að um 1920 voru gerðir út 10 bátar og þá var íbúatalan komin í 660.  Útgerðin jókst enn á næstu árum, tveir línuveiðarar voru gerðir út um og fyrir 1930.  Togarinn Andri kom til Eskifjarðar 1928 og var gerður út í fimm ár.  Íbúum fjölgaði jafnt og þétt, svo að 1930 voru þeir orðnir 759.  Þrátt fyrir þessa miklu útgerð voru ýmsar blikur á lofti, afli fór minnkandi, verðfall varð á fiski á erlendum markaði, skuldir söfnuðust hjá útgerðarmönnum og kaupmönnum sem ráku lánsverslun, tóku þátt í útgerð, fiskverslun og stóðu á ýmsan hátt undir atvinnulífinu í byggðarlaginu.  Upp úr 1925 fóru lánastofnanir að  ganga að þessum skuldunautum sínum, eigur þeirra, bátar og hús voru seldar oftast langt undir raunvirði.  Atvinnutækin tíndust úr plássinu hvert af öðru, svo að árið 1933 var stærð bátaflotans ekki nema 70 smálestir samanlagt.  Á þessum árum gripu menn til þess ráðs, að afla sér matar með því að eignast nokkrar kindur og kýr, einnig var ræktað mikið af garðávöxtum.  Árið 1940 voru á fóðrum á Eskifirði 62 kýr og 332 kindur, munu gripir hafa verið nokkru fleiri fáum árum áður.

Samvinnufélagið Kakali var stofnað á Eskifirði 1933, keypti það þrjá 18 lesta báta og einn 48 lesta, þeir komu til landsins um áramót 1933/34.  Þessir bátar voru gerðir út frá Hornafirði og Sandgerði á vertíðinni, en réru að heiman á vorin og haustin og fóru til síldveiða norður fyrir land yfir hásumarið.  Á þessum svokölluðu kreppuárum fækkaði íbúum á Eskifirði sem á öðrum Austfjörðum, þannig að 1940 voru þeir komnir niður í 690.  Fólkið flutti "suður".  Af þeim ástæðum var mjög lítið byggt af íbúðarhúsum frá 1920 til 1940.  Fram að þessum tíma hafði byggðin risið aðallega með ströndinni og upp frá verslunarstöðunum, það er á Kirkjutungu og Grjótártungu.  Þegar atvinnuástand fór að batna, lifnaði á ný yfir byggingum, voru 11 hús byggð á áratugnum fram til 1950.  Á næsta áratug voru byggð 30 íbúðarhús, frá 1960-70 voru þau 58.  Byggð þessi hefur að mestu leyti risið í þessari röð við eftirtaldar götur;  Túngötu, Lambeyrarbraut, Hátún, Steinholtsveg, Bleiksárhlíð, Svínaskálahlíð og ofan Strandgötu innan við Framkaupstað.  Auk þessa var eitt og eitt hús byggt um allan bæ, þar sem lóðir voru fáanlegar.

Opinberar byggingar risu í Lambeyrartúni, ofan Strandgötu.  Félagsheimili 1957 og byggt við það 1966.  Læknisaðsetur 1960.  Landssíma og pósthús 1961.  Sundlaug 1963 og síðan byggt yfir hana íþróttahús 1971.  Þar er nú einnig í smíðum nýtt grunnskólahús.  Landsbanki Íslands flutti í nýtt hús 1968, en hafði þá rekið útibú í "túninu" í fimmtíu ár, eða frá 2. jan. 1918.  Fyrsta skólahús sem byggt var á Eskifirði, var fyrsti kvennaskóli landsins. 

Barnaskóli var fyrst reistur 1880, annað barnaskólahús 1910, þegar það varð of lítið var málunum bjargað með að kenna í húsi dagheimilis að Melbæ sem starfræksla hófst í 1969.

Vatnsaflsrafstöð var reist 1911 við eina af þveránum sem renna í gegnum bæinn, hefur hún síðan verið nefnd Ljósá, enda var rafmagnið þá aðeins notað til að lýsa með því húsin.  Rafstöð þessi var notuð eingöngu til 1946, þá var farið að nota díselvél með til að framleiða rafmagn.  Vatnsaflsstöðin var lögð niður 1953, þá tóku díselaflstöðvar við til 1958 að raflína var lögð yfir Eskifjarðarheiði frá Grímsárvirkjun.  Nú fæst rafmagn frá Rafmagnsveitum ríkisins, Austurlandsveitu, þ.e. Grímsárvirkjun, Lagarfljótsvirkjun og díselvélum þegar vatn þrýtur.

Á nýsköpunarárunum upp úr 1945 komu til Eskifjarðar tveir nýir 100 lesta bátar og tveir 50-60 lesta, sem áður höfðu verið sænskir síldveiðibátar (blöðrur).  Hraðfrystihús var byggt, tók til starfa 1948.  Löngum hafði ríkt nokkuð árvisst atvinnuleysi á Eskifirði yfir veturinn, en loks 1951 fór að rætast úr, þá um veturinn lagði á land einn af heimabúum, vertíðarafla sinn, sem sóttur var á miðin við suð-austurland.  Þetta sama ár kom togarinn Austfirðingur, sameign Eskfirðinga og Reyðfirðinga nokkru seinna togarinn Vöttur, eign sömu aðila og auk þeirra Fáskrúðsfirðinga.  Beittu þeir mikla vinnu í nokkur ár.  Þegar síldin fór að færast suður með Austfjörðum snemma á sjötta áratugnum, lifnaði verulega yfir atvinnulífi á Eskifirði.  Fyrst var söltuð þar “norðurlandssíld” sumarið 1953. 

Síldarbræðsla byrjaði 1955 og áfram var haldið með síldarsöltun, fyrst í smáum stíl, en jókst svo ár frá ári, 1964 voru fimm söltunarstöðvar sem störfuðu þar til 1969 og 70 að síldin hvarf að miðunum.  Á þessum síldarárum voru keyptir til Eskifjarðar nokkrir 120-250 lesta bátar, sem voru á síldveiðum á sumrin en stunduðu með línu og net á vertíðinni á suðausturmiðum og lögðu aflann á land heima.  Skip og bátar hafa jafnan gengið kaupum og sölum, eitt verið selt og annað keypt, en of langt mál yrði í svona ágripi að rekja sögu hvers og eins.

Hafnarbryggja var byggð 1964-5 og þá fyllt upp stórt svæði við fjarðarbotninn að norðanverðu.  Þar var reist ný síldarverksmiðja 1966, hún var aukin og endurbætt 1977-78, en þá vegna loðnuvinnslu.  Loðna var fyrst unnin 1967, en við loðnuna hefur verið síðan mikil vinna í takmarkaðan tíma á hverju ári.

Síðan 1970 hafa risið nokkur fiskverkunarhús á þessu nýja hafnarsvæði.  Þegar síldin lagðist frá um 1970,  kom til Eskifjarðar einn af fyrstu skuttogurunum sem keyptir voru til landsins, aflaði hann mjög vel.  Hraðfrystihúsið var stækkað 1973-74 og þá var keyptur annar skuttogari í félagi við Reyðfirðinga, hafa þeir síðan séð frystihúsinu fyrir hráefni  nokkuð samfellt allt árið.  Þegar að síldveiðar voru leyfðar aftur við Suður og Suðausturland, hefur á Eskifirði verið saltað allt upp í ellefu þúsund tunnur á ári.

Annar floti en togararnir í eigu Eskfirðinga á byrjuðu árið 1978, eru fjögur skip 150-250 lesta, þrír bátar 40-90 lesta og sex minni, auk þess nokkrir opnir bátar.  Þeirrar fólksfækkunar, sem varð á kreppuárunum, gætti allt fram til 1950, en þá voru íbúar 669.  Með vaxandi umsvifum fjölgaði fólkinu á ný, 1960 voru íbúar 741, 1970 voru þeir 936 og 1977 voru þeir orðnir 1032.  Til samanburðar á því hvað fólk býr í mikið stærri íbúðum nú en áður var, má geta þess, að 1930 voru íbúðarhús á Eskifirði 103, flest um það bil helmingi minni að flatarmáli en hús sem nú eru byggð, í þeim bjuggu 759 manns eða 7.37 íbúar í húsi að meðaltali.  1975 eru íbúðarhúsin 218 og íbúarnir 988, svo að þrátt fyrir mikið stærri hús eru þá að meðaltali aðeins 4.53 íbúar í hverju húsi.