Главный дом большого городского имения начали строить в 1848 году для одного из богатейших помещиков Екатеринославской губернии - Николая Дмитриевича Алфераки (1815 - 1860), представителя известного греческого рода, переселившегося в Россию в конце ХVIII века. Его основатель - Дмитрий Алеферейос (в России - Алфераки), отец хозяина дворца - участник русско-турецкой войны 1768 - 1774 гг. за службу России получил в Приазовье земли и российское дворянство.
Семейство Алфераки дало России известных политических деятелей, учёных, музыкантов, пользовалось большим уважением в Таганроге и крае. Д.И.Алфераки был одним из первых предводителей дворянства, а его внук - Ахиллес Николаевич, на протяжении восьми лет являлся городским головой Таганрога, впоследствии, уехав в Петербург, служил управляющим делами Министерства внутренних дел.
Дворец, построенный Н.Д.Алфераки стал своеобразным символом богатства и славы греческого рода, для которого Россия стала второй родиной. В конце 1870 годов семья Алфераки продала дом, в котором вскоре разместился клуб Коммерческого собрания. Дворец Алфераки всегда был центром культурной и общественной жизни Таганрога, как в тот период, когда был частным особняком, так и тогда, когда стал общественным зданием.
В гостях у известной семьи бывали знаменитые литераторы - Н.Ф.Щербина, Н.В.Кукольник, останавливался во время последних гастролей - М.С.Щепкин. Здесь давали приёмы в честь приездов в город наследника Российского престола - великого князя Николая Александровича, видных государственных деятелей. Когда в здании разместился Коммерческий клуб, в большом зале дворца постоянно устраивались балы и концерты. Звучала музыка в исполнении Л.Ауэра, С.Танеева, А.Рубинштейна, Я.Кубелика, Сарасате, М.Мусоргского, А.Скрябина, В.Горовица и мн.др. известных музыкантов.
Двухсветный зал дворца стал свидетелем памятных "встреч с Музыкой" - в 1876г. гимназист Антон Чехов был на концерте Леопольда Ауэра и Сергея Танеева, а в 1911 году - юная Фаина Фельдман (прославившаяся как Раневская) на концерте композитора А.Скрябина.
В разное время во дворце бывали - П.И.Чайковский, И.К.Айвазовский, А.И.Деникин и др. известные исторические личности. Став известным писателем А.П.Чехов неоднократно посещал Коммерческий клуб. Именно ему, великому уроженцу Таганрога, принадлежала идея - в год празднования 200-летия города организовать на родине музей.
Создавая городской музей, А.П.Чехов мечтал о том, чтобы он разместился во дворце Н.Д.Алфераки. Мечта писателя сбылась в 1927 году, уже в годы Советской власти здание бывшего Коммерческого собрания было передано музею. Сюда были перемещены уникальные коллекции мемориальных предметов из музея императора Александра I, собрание археологических находок известных археологов - братьев А.А. и М.А. Миллеров, уникальная восточная коллекция генерала П.К.Рененнкампфа.
В течение XX века экспозиция музея, да и само здание претерпели изменения. В 1989 – 1996 гг. были проведены реставрационные работы, позволившие во многом восстановить первозданный облик дворца. В 1995 – 1996гг. открыта новая экспозиция, которая знакомила посетителей с главными вехами истории края и города. За её разработку коллектив музея был удостоен премии Министерства культуры России.
Таганрогский историко-краеведческий музей считается одним из старейших музеев юга России. Он занимает одно из красивейших зданий Ростовской области.