Nazwa wsi określa jej położenie względem jeziora Drużno ("zejście z Oberlandu na Żuławy"). Usytuowanie osady sprecyzowane jest także w zapisie lokacyjnym wydanym 12 maja 1244 roku w Toruniu przez mistrza krajowego Zakonu Henryka von Weida, który sprzedał Dietrichowi von Brandeis 60 łanów późniejszej wsi Wysoka. Obejmowały one dobra, które wcześniej otrzymał do osadzenia chłopami Gebhard Ślepy (Cecus) i przyległą wieś pruską, leżącą nieco wyżej. Zapisano tu również miejsca dwóch młynów (to jest zniszczonych w czasie pierwszego powstania pruskiego) nad Brzeźnicą i strugą Wysoka (niewykluczone, że nad Marwicką Młynówką). Nowy posiadacz otrzymał prawo zbudowania kościoła parafialnego, a z całości dóbr miał płacić czynsz rekognicyjny (osobisty) i stawać zbrojnie na każde wezwanie.

W przywileju lokacyjnym wystawionym 6 stycznia 1321 roku przez komtura dzierzgońskiego Lutera z Brunszwiku dla Mikołaja von Sevelt, po raz pierwszy wymienia się nazwę wsi Hohendorf. Lokacja odbyła się na prawie chełmińskim, obejmowała dobra liczące 40 łanów, przy czym sołtysowi i jego prawnym dziedzicom przekazano 10 łanów (sołeckich). Wzmiankowana jest karczma, a młyn na Brzeźnicy jest jeszcze niedokończony. Jest to późniejszy młyn w Grądowym Młynie.

W czasie wojen polsko - szwedzkich toczonych w XVII wieku wieś poniosła znaczne straty, a tylko w 1629 roku była trzykrotnie plądrowana przez maruderów z polskich oddziałów stacjonujących pod Pasłękiem.

W przebiegu dziejów właścicielami dóbr w Wysokiej były znane rody wschodniopruskiej szlachty - von Kunheim, von Zehmen (Czema), von Lehwald, von Brederlow i von Below. Według Goldbecka - w 1785 roku wieś liczyła 16 "dymów", oprócz dóbr rycerskich i folwarku.

W 1785 roku majątek w Wysokiej przeszedł w ręce Emiliusa Fryderyka Magnusa hrabiego Rzeszy von Deonhoff (zmarłego 12 maja 1824 roku), z linii Doenhoffów z Friedrichstein nad Pregołą. Doenhoffowie mieli już wówczas dobra w Kwitajnach. Nowy właściciel Wysokiej zasłynął jako budowniczy pałacu (1803 - 1806) i sprowadzenia sekty religijnej - gichtelianów. Nazwa sekty pochodziła od nazwiska jej założyciela - Johanna Georga Gichtela (urodzonego 1638 roku w Regensburgu, zmarłego w 1710 roku w Amsterdamie), holenderskiego sekciarza i mistyka, adwokata z zawodu. Członkowie tej sekty nazywani byli także bezżeńcami (niem. Ehelosigkeit), braćmi anielskimi (niem. Engelsbruder), celebsami. Przez dłuższy czas liczni byli w Holandii i północnych Niemczech. W myśl założeń sekty - "tylko nieżonaci lub od żon uwalnieni mogą zostać braćmi", stąd też potępiali instytucję małżeństwa. Każdy przełożony sekty był wobec władz prawnym właścicielem wspólnego majątku. Mówiono wówczas, że "kto do tej sekty się zapisze, biedy nie ucierpi".

Członkiem sekty i propagatorem poglądów Gichtela był także Aleksander Ewald von Below - Hohendorf (1801 - 1882), właściciel tutejszych dóbr w latach 1843 - 1882. Wszechstronnie wykształcony (ukończył uniwersytet w Dorpacie) i przygotowany do życia gospodarczego i politycznego, do Wysokiej przybył z majątku Redęcin na Pomorzu, po tym jak Paul von Doenhoff zapisał mu tutejsze dobra. Below należał do czołowych polityków wschodniopruskich . W 1867 roku został wybrany posłem z pasłęcko - morąskiego okręgu wyborczego do parlamentu Związku Północno - Niemieckiego. Przypisywano mu przeforsowanie powszechnego i równego prawa wyborczego. W Wysokiej gospodarzył z dużym powodzeniem, aktywnie wspierał lokalne inicjatywy społeczne. Po pożarze Pasłęka z 16 maja 1845 roku, przekazał miastu 100 talarów na rzecz poszkodowanych. W 1877 roku zakupił za dużą sumę płaskorzeźbę wykonaną w drzewie dębu przez pastora Wilhelma Grzybowskiego z Rychlik - "Głowa Chrystusa w koronie cierniowej" (Ecce Homo!), nagrodzoną na wystawie dzieł sztuki w Paryżu w 1867 roku i podarował ją rychlickiemu kościołowi. Dzieło to jest do dzisiaj jednym z cenniejszych kościelnych utensyliów.

Below - tradycjonalista i zwolennik monarchii, pozostawał przez dłuższy czas w kręgu najbliższych przyjaciół Ottona Bismarcka (1815 - 1898). Już jako poseł w Sankt. Petersburgu (styczeń 1859 - maj 1862), a następnie jako kanclerz, Bismarck wielokrotnie odwiedzał von Belowa w Wysokiej - "lubił przesiadywać na pagórku położonym niedaleko cmentarzyka familijnego i romantycznej kapliczki" . Wzniesienie 31,1 m npm, położone na wschód od parku dworskiego, nazwano później "Pagórkiem Bismarcka" (Bismarckhügel) - rozciąga się stąd piękny widok na jezioro Druzno, Elbląg i Wysoczyznę Elbląską.

Pobyt Bismarcka jesienią 1859 roku u Belowa w Wysokiej przedłużył się nieoczekiwanie, gdyż zachorował na zapalenie płuc. Pozostał więc do marca 1860 roku, a opiekę lekarską nad nim sprawował pasłęcki lekarz - doktor Karl Benjamin Beck (1814 - 1895), pierwszy honorowy obywatel tego miasta.

Po śmierci von Belowa majątkiem ziemskim zarządzali kolektywnie kapitan Pirch i Edmund Poyda, a następnie Rudolf Menthal i Otto Michaelis (1882 - 1896). W latach 1896 - 1922 zarządcą był Gustav Skirl, który położył znaczne zasługi w odwadnianiu naddruzeńskich łąk. Ich łączna powierzchnia osiągnęła wówczas poziom 600 ha. Prace odwadniające prowadzono na trzech polderach i ukończone je w 1912 roku. Wspierał finansowo Dom Małego Dziecka w Nowym Dolnie, a przy jego znacznej pomocy finansowej wybudowano w Pasłęku w latach 1920 - 1922 halę gimnastyczną z zapleczem (obecny Pasłęcki Ośrodek Kultury). Skirl przewodniczył także pasłęckiej ochotniczej straży pożarnej, której podarował w 1906 roku trzystopniową - rozsuwaną drabinę amerykańską, długości 18 metrów. Większość obszernych i funkcjonalnych zabudowań gospodarskich, istniejących częściowo w Wysokiej, została przez niego wybudowana.

Ostatnią zarządzającą majątkiem była w latach 1922 - 1945 Zofia Thon, znana z dobrotliwości, szacunku dla podległych robotników i nieustającej pomocy dla potrzebujących (podobno z takich cech słynęli gichtelianie). Po 1933 roku, gdy na podstawie ustawodawstwa hitlerowskiego rozwiązano wszystkie sekty, Wysoka weszła w skład tak zwanej Fundacji Ericha Kocha - gauleitera Prus Wschodnich (E. Koch - Stiftung). Przechowywano tu między innymi łupy gauleitera, zrabowane na terenach wschodnich. Z tego też powodu pałac został wysadzony w 1945 roku, przy czym są różne wersje co do sprawców zniszczenia. Gichtelianie pozostali tu do końca wojny, a Zofia Thon w wieku 90 lat zmarła podczas ucieczki przed wojskami sowieckimi w styczniu 1945 roku. Majątek miał wtedy 1.628 ha, w tym 303 ha lasu leżącego w okolicy Starego Dolna, zwanego Lasem Wysoka (Hohendorferwald) - zatrudniano tu leśniczego, dwóch stałych robotników leśnych i trzech sezonowych. W latach 1945 - 1990 Wysoka była Państwowym Gospodarstwem Rolnym, później własnością Agencji Własności Rolnej Skarbu Państwa, obecnie znajduje się w rękach prywatnych.