Пробыв во Франции до конца 1722 года, Ганнибал в начале следующего возвратился в Петербург и сразу же назначен был на инженерные работы в Кронштадте, войдя в то же время в кружок лиц, группировавшихся около княгини А. П. Волконской и бывших противниками временщика Меньшикова. В феврале 1724 г. Ганнибал был определен в бомбардирскую роту Преображенского полка, причем ему поручено было, между прочим, учить молодых солдат из дворян математическим наукам; эти же науки он преподавал, уже по смерти императора, наследнику престола Петру Алексеевичу. Екатерина I и наследник благоволили к Ганнибалу, но всесильный Меньшиков, на другой же день по вступлении на престол Петра II, опасаясь влияния Ганнибала на юного царя, поспешил удалить Абрама Петрова из Петербурга. Он получил предписание ехать немедленно в Казань для осмотра тамошней крепости, оттуда ему было приказано ехать в Тобольск, из Тобольска – на китайскую границу к чрезвычайному посланнику графу Владиславичу-Рагузинскому, для постройки Селенгинской крепости. В январе 1728 г. он был в Иркутске, а затем в Тобольске, отпущенный с границы Владиславичем, не зная еще о происшедшем падении и ссылке Меньшикова. Друзья без успеха хлопотали о Ганнибале. 17 июля состоялось определение Верховного Тайного Совета об удержании Ганнибала на китайской границе, а 22 декабря 1729 г. – об аресте его там, отобрании всей переписки и об отправке его «с пристойным конвоем» в Томск. Распоряжения эти стояли в тесной связи с делом княгини Волконской и ее друзей, преследовавшихся уже новыми временщиками – Долгорукими. В 1730 г . , при новой императрице Анне Иоанновне, Ганнибал получил возможность совсем покинуть Сибирь, будучи определен, по ходатайству своего благожелателя Миниха, инженер-капитаном, с назначением в Пернов «к инженерным и фортификационным делам по его рангу». В 1733 году вышел в отставку и жил в Ревельском уезде, на купленной им мызе Каррикулля. В 1747 г., с воцарением Елизаветы, Ганнибал снова определился на службу, будучи назначен, с чином артиллерии подполковника, в Ревельский гарнизон; вскоре императрица Елизавета Петровна произвела его из подполковников прямо в генерал-майоры, с определением обер-комендантом в Ревель, где и прослужил он десять лет. В 1751 г. Ганнибал был назначен управлять строительной частью инженерного ведомства. В истории этого ведомства Ганнибал является одним из видных деятелей своего времени. В 1756 г. он был произведен в инженер-генералы, а затем – в генерал-аншефы, с определением главным директором Ладожского канала и кронштадтских и рогервикских укреплений. В 1762 г. он уволился в отставку. Остаток дней своих, еще довольно продолжительный, А. П. Ганнибал провел в пожалованном ему имении Суйде; здесь он скончался 14 мая 1781 г. Б. Л. Модзалевский . Пушкин, с. 49–55.
В семейственной жизни прадед мой Ганнибал так же был несщастлив, как и прадед Пушкин. Первая жена его, красавица, родом гречанка, родила ему белую дочь. Он с нею развелся и принудил ее постричься в Тихвинском монастыре, а дочь ее Поликсену оставил при себе, дал ей тщательное воспитание, богатое приданое, но никогда не пускал ее себе на глаза. Вторая жена его, Христина-Регина фон-Шеберх, вышла за него в бытность его в Ревеле обер-комендантом и родила ему множество черных детей обоего пола . Пушкин . Родословная Пушкиных и Ганнибалов.
Вернувшись в Петербург из Селенгинска, Ганнибал в начале 1731 г. женился на гречанке Евдокии Андреевне Диопер, дочери капитана галерного флота. Евдокия любила флотского поручика Кайсарова и собиралась выйти за него замуж. За Ганнибала она отказывалась идти, – «понеже арап, и не нашей породы». Однако ее принудили. Она покорилась, но до свадьбы отдалась Кайсарову. Спустя месяц после свадьбы Ганнибал был командирован Минихом в Пернов – учить кондукторов математике и черчению. Евдокия вскоре стала изменять нелюбимому мужу, увлекшись одним из кондукторов, Яковом Шишковым. С этого времени между супругами началась тяжелая семейная драма, окончательно завершившаяся формальным разводом лишь через одиннадцать лет. Ганнибал подал жалобу в перновскую канцелярию, что Шишков и жена хотели его отравить. К жене он приставил надежный караул и неоднократно брал ее к себе, в свои покои. Там в стены, повыше роста человеческого, ввернуты были кольца. Туда вкладывались руки Евдокии, и ее тело повисало на воздухе. В комнате заранее приготовлены были розги, батоги, плети, и муж «бил и мучил ее смертельными побоями необычно», принуждая, чтобы она на суде при допросах показала, будто «с кондуктором Шишковым хотела его, Ганнибала, отравить, и с ним, Шишковым, блуд чинила». При этом, в случае, если она покажет не по его желанию, «грозил ее, Евдокию, убить». После таких внушений в канцелярии Евдокия все показала по желанию мужа, чтобы только вырваться из его рук. Тем не менее, в течение месяца она жила у мужа и только тогда взята была в канцелярию. Ее посадили на госпитальный двор, куда обыкновенно заключались осужденные. Там, под крепким караулом, провела она пять лет . На содержание арестованных никто не обращал внимания, и арестанты госпитального двора питались или на средства родных, или на доброхотные подаяния христолюбцев. На содержание Евдокии Андреевны муж ничего не давал и сам нарочно затягивал дело, чтобы подольше продержать ее под караулом. Вот, на основании документов, история разрыва между Ганнибалом и первою его женою. Здесь нет ни одного слова о рождении белой девочки, о чем рассказывает Пушкин. И во всем деле об ней не упоминается. Очевидно, ее и не существовало. Сам Ганнибал, между тем, сошелся с дочерью капитана местного полка Христиною-Региною фон-Шеберх и жил с нею сперва в Ревельском уезде, на купленной им мызе Каррикулля, а затем, в 1736 году, и обвенчался с нею в Ревельской соборной церкви, не дождавшись решения своего дела с первою женою. Только в 1752 году, после долгих перипетий, было решено, наконец, дело Абрама Петровича с его первой женой: она была признана виновною и сослана в Староладожский женский монастырь, а брак Ганнибала с Христиною Шеберх признан законным, хотя на него и наложены были эпитимия и штраф. Б. Л. Модзалевский . Пушкин, с. 52. Значительно дополнено по статье С. И. Опатовича «Е. А. Ганнибал», в которой использовано бракоразводное дело Ганнибала, хранившееся в архиве петербургской консистории. – Рус. Стар., 1877, янв.