В 1816 году генерал-лейтенант Ермолов приказом Александра I назначен командиром Отдельного Грузинского корпуса, управляющим по гражданской части на Кавказе и в Астраханской губернии. Этого поста он долго и упорно добивался через знакомых в Петербурге. Со времени зубовского похода Ермолов сильно недолюбливал персов и, в подражание Александру Македонскому, разрабатывал «план разрушения персидского государства». В сентябре Ермолов прибыл на границу Кавказской губернии. В октябре он приехал на Кавказскую линию в город Георгиевск. Оттуда сразу же выехал в Тифлис, где его ожидал бывший главнокомандующий генерал от инфантерии Николай Ртищев. По обозрении границы с Персией отправился в 1817 году чрезвычайным и полномочным послом ко двору персидского шаха Фетх-Али, где провёл много месяцев. Поступки Ермолова при дворе шаха не всегда отличались дипломатичностью.
Так, русский посланник не преминул напомнить о сокрушении Персии монголами и даже заявил, что Чингисхан — его прямой предок. Тем не менее мир был утверждён, причём шах согласился допустить пребывание в Тегеране русского поверенного в делах и с ним вместе миссии. По возвращении из Персии Ермолов был награждён чином генерала от инфантерии. Командуя русскими войсками на Кавказе, Ермолов запретил изнурять войска бессмысленной шагистикой, увеличил мясную и винную порцию, разрешил носить вместо киверов папахи, вместо ранцев холщовые мешки, вместо шинелей зимой полушубки, выстроил войскам прочные квартиры, на сбереженные им суммы от командировки в Персию выстроил в Тифлисе госпиталь и всячески старался скрасить тяжёлую жизнь войск. Ермолов затеял строительство на Северном Кавказе многих крепостей, таких как Нальчик, Внезапная и Грозная.
В 1819 году в состав ермоловского корпуса включили Черноморское казачье войско. Ермолов предоставил казакам землю по берегам Кубани и дал двухлетнюю отсрочку платы за неё. В декабре того же года совершил поход в аул Акуша. В результате недолгого сражения ополчение акушинцев было разбито, а население Акуши было приведено к присяге на верность российскому императору. В 1823 году генерал А. П. Ермолов командовал боевыми действиями в Дагестане, а в 1825 году воевал с чеченцами. Имя Ермолова стало грозою горцев, и кавказские женщины ещё долго после того пугали им своих детей. В 1820 году составил текст молитвы для мусульман Кавказа с восхвалением императора Александра I и наилучшими пожеланиями в его адрес.
Во время поездки Ермолова в Персию к Фетх Али-шаху чеченцы взяли в заложники начальника штаба корпуса полковника Шевцова и стали требовать за него выкуп в 18 телег серебра. Вместо традиционного в таких случаях затяжного торга о размерах выкупа с целью его снижения Ермолов направил в Чечню несколько казачьих сотен, которые взяли в аманаты 18 наиболее уважаемых старейшин крупнейших аулов. Ермолов довёл до сведения горцев, что в случае, если за месяц Шевцов не получит свободу, аманаты будут повешены. Русского полковника освободили без выкупа. На небольшие доступные ему средства Ермолов довольно много сделал для Кавказского края: модернизировал Военную грузинскую дорогу и иные пути сообщения, устроил лечебные заведения при минеральных водах, содействовал притоку русских поселенцев. Прозванный «проконсулом Кавказа», Ермолов правил им планомерно, настойчиво и энергично.