С мая 1793 года был квартирмейстером 2-го бомбардирского батальона. Непродолжительное время преподавал в инженерном и артиллерийском шляхетском корпусе в должности репетитора. Затем был переведен в армейскую артиллерию.

Первый боевой опыт Ермолов получил в 1794 году в войне с Польшей. Тогда он зарекомендовал себя с самой лучшей стороны, особенно отличившись при штурме варшавского укрепленного предместья Праги, за что получил орден Святого Георгия 4-й степени из рук самого А.В. Суворова.

После войны с Польшей Ермолов был командирован в Италию в составе рабочей группы, имевшей поручение ликвидировать денежные счета государственного казначейства в Генуэзском банке. По собственной инициативе участвовал в нескольких боях на стороне австрийцев против французских войск в Северной Италии.

На Кавказском театре военных действий впервые оказался в 1796 году, когда артиллерийская батарея, в которой служил Ермолов, в составе русских экспедиционных войск отличилась в Персидском походе брата последнего фаворита Екатерины II Платона Зубова — генерал-аншефа Валериана Зубова. Тогда русские войска, взяв штурмом крепость Дербент, дошли до персидских границ по Араксу. За участие во взятии Дербентской крепости Ермолов был награжден орденом Святого Владимира 4-й степени.

После возвращения из Персидского похода подполковника Ермолова зачислили в артиллерийский батальон Иванова, в котором, по выражению генерала Аракчеева, «у семи офицеров был один мундир».

За участие в смоленском офицерском политическом кружке «Вольнодумцы» в 1798 году Ермолов был арестован и заключен в Петропавловскую крепость. После проведения следствия его сослали в Кострому «на вечное житье». Вместе с ним ссылку здесь отбывал М.И. Платов (с 1801 года — атаман Донского казачьего войска). В Костроме Ермолов занимался самообразованием, читая в подлиннике римских классиков. Многим тогда казалось, что на этом его военная карьера закончилась.

Однако в армии офицер имел репутацию способного и перспективного артиллерийского командира. Когда начались французские революционные войны, Ермолова возвратили на военную службу. Настороженное же отношение к себе царских властей он ощущал до последних дней своей жизни.

В войне с наполеоновской Францией 1805–1807 годов Ермолов участвовал в должности командира конно-артиллерийской роты. Он быстро выдвинулся на командные должности во многом благодаря своей храбрости и умению в критические моменты боя брать на себя всю ответственность за его исход.

В составе кутузовской армии Ермолов отличился в сражении при Амштеттине, где его конно-артиллерийская рота, выдвинувшись вперед, метким огнем прикрыла от французов расстроенные эскадроны Мариупольского гусарского полка. В сражении под Аустерлицем орудийные расчеты Ермолова вели огонь по атакующей вражеской кавалерии до последней возможности, не покинув занимаемой позиции. Затем его 40 орудий прикрывали отступавшую русскую армию на переправе через реку Нарев по единственному мосту.

На территории Восточной Пруссии ермоловская конно-артиллерийская рота отличалась не раз. При отходе русских войск она находилась в составе арьергарда, не раз отбрасывая наседавших французов картечными залпами в упор. В сражении при Прейсиш-Эйлау артиллеристы Ермолова успешно действовали против корпуса маршала Франции Даву. Под Гутштадтом они уничтожили неприятельскую батарею. Под Гейльсбергом на замечание о том, что французская колонна слишком близко подошла к его батарее, Ермолов ответил: «Я буду стрелять, когда различу белокурых от черноволосых».

За отличия в Русско-прусско-французской войне 1806–1807 годов он был удостоен нескольких боевых наград, в том числе золотой шпаги. Его дважды представляли к званию генерал-майора, но каждый раз безуспешно — тогда еще всесильный Аракчеев был против (Ермолов имел неосторожность резко возразить ему на замечание во время смотра войск).

В 1809 году Алексея Петровича назначили командиром отряда резервных войск, охранявших государственную границу на Волыни и в Подолии, в 1811 году — командиром гвардейской артиллерийской бригады, затем гвардейскими пехотной бригады и дивизии.

Отечественную войну 1812 года Ермолов встретил в должности начальника Главного штаба 1-й русской Западной армии генерала М.Б. Барклая-де-Толли, военного министра России. Он участвовал в сражениях при Валутиной Горе близ Смоленска, Бородино, Малоярославце. За успешный бой у Заболотья получил чин генерал-майора.

Перед Бородинским сражением главнокомандующий М.И. Голенищев-Кутузов послал генерала Ермолова в армию Багратиона для приведения в порядок ее артиллерии, понесшей большие потери в борьбе с неприятельскими батареями. В критический для сражения момент, когда французы овладели батареей Раевского, Ермолов лично повел в штыковую атаку батальон Уфимского пехотного полка и отбил у французов оставленные было укрепления. После этого он три часа руководил обороной батареи Раевского, пока не был ранен картечью в шею.

Брат одного из руководителей тайного общества декабристов, Н.Н. Муравьев писал о тех событиях:

«Алексей Петрович Ермолов был тогда начальником главного штаба у Барклая. Он собрал разбитую пехоту нашу в беспорядочную толпу, состоявшую из людей разных полков; случившемуся тут барабанщику приказал бить на штыки, и сам с обнаженною саблею в руках повел сию сборную команду на батарею.

Усилившиеся на ней французы хотели уже увезти наши оставшиеся орудия, когда отчаянная толпа, взбежав на высоту, под предводительством храброго Ермолова, переколола всех французов на батарее (Ермолов запретил брать в плен), и орудия наши были возвращены.

Сим подвигом Ермолов спас всю армию. Сам он был ранен пулею в шею; рана его была не тяжелая, но он не мог долее в сражении оставаться и уехал».

После Бородинского сражения Ермолов был назначен начальником объединенного штаба 1-й и 2-й русских Западных армий. На военном совете в Филях он выступил за новое сражение с Великой армией Наполеона под стенами Москвы.

Алексей Петрович Ермолов отличался не только решительностью и смелостью, но и прозорливостью. Узнав, что французские войска, оставив Москву, двинулись по Боровской дороге, Ермолов по своей инициативе, на свой страх и риск от имени главнокомандующего изменил маршрут движения корпуса Д.С. Дохтурова, направив его к Малоярославцу. Таким образом Наполеону был перекрыт путь к Калуге и дальше на юг России. После ожесточенного сражения при Малоярославце французской армии пришлось отступать по опустошенной еще при наступлении российской территории.

Как начальник объединенного штаба генерал Ермолов участвовал в организации преследования наполеоновской Великой армии. За участие в Отечественной войне 1812 года герой Бородинской битвы удостоился звания генерал-лейтенанта.

После изгнания французов из пределов России, когда русская армия перешла пограничную реку Неман, должность начальника объединенного штаба была упразднена. В начале заграничных походов русской армии 1813–1814 годов Ермолов был назначен начальником артиллерии союзных армий, затем — командиром гвардейской пехотной дивизии, которая отличилась в сражении при Бауцене, выдержав все атаки французских войск, которыми лично командовал Наполеон Бонапарт. В сражении под Кульмом Ермолов заменил раненого генерала Остермана-Толстого и одержал победу.

При взятии столицы Франции он успешно командовал гренадерским корпусом. «За отличие при взятии Парижа» генерал-лейтенант А.П. Ермолов удостоился полководческой награды — ордена Святого Георгия 2-й степени.

Во время Венского конгресса он командовал обсервационной (наблюдательной) армией на австрийской границе.

В 1816 году Ермолов был назначен командиром Отдельного Грузинского (затем Кавказского) корпуса, затем главнокомандующим русскими войсками в Грузии и одновременно чрезвычайным и полномочным послом России в Персии (Иране). Ему подчинялись Каспийская военная флотилия, Черноморское казачье войско и Терское казачество, Астраханская и Кавказская губернии.

С именем Ермолова связано начало длительной Кавказской войны против горцев. Он был последовательным сторонником активного продвижения Российской империи на Восток.

На Кавказе генерал Ермолов блестяще выполнил возложенную на него дипломатическую миссию. Переговоры в Тегеране для российской стороны завершились успешно. Персия отказалась от территориальных притязаний на кавказские земли, и до 1826 года обстановка на российско-иранской границе была спокойной.

После этого Ермолов занялся «умиротворением» Кавказа, о котором говорил: «Это огромная крепость, надобно или штурмовать ее, или овладеть траншеями; штурм будет стоить дорого, и успех его не верен, так обложим же ее».

В течение последующих десяти лет командующий русскими кавказскими войсками успешно боролся с «мятежниками»-горцами. Он перенес укрепленную линию, бывшую южной государственной границей, с берегов Терека на реку Сунжу. В 1818 году здесь был создан опорный пункт русских войск в Чечне — крепость Грозная. Затем Сунженская линия протянулась до побережья Каспийского моря: на ней были построены крепости Внезапная и Бурная. Укрепленные линии создавались и по берегам рек Малки и Кубани.

После этого пришел черед Кавказских гор. От Сунженской линии сквозь вековые леса стали прорубаться просеки, по которым русские отряды ходили против «немирных» аулов и областей Чечни. Непокорных горцев Ермолов карал жестоко, по законам военного времени — «немирные» аулы подвергались разгрому, а их жители переселялись из гор и лесов на равнинные земли. По восточным обычаям он приказывал брать заложников — аманатов, которые своей жизнью гарантировали покорность своих соплеменников.

Перенос укрепленной линии с Терека на реку Сунжу консолидировал враждебно настроенных к России горцев — они поняли тактику царского командующего, стремившегося с войсками закрепиться на их территориях. Теперь над теми феодальными образованиями, которые приняли подданство Российской империи — Тарковским шамхальством, каракайтагским уцмием, и другими нависла военная угроза соседей. Для их поддержки Ермолов посылал воинские отряды. Во главе одного из них он нанес поражение мятежному хану Ахмету и ликвидировал Мехтулинское ханство.

В начале 1819 года генерал Ермолов во главе сильного отряда русских войск штурмом взял высокогорное селение Акуши — центр Акушинского (Даргинского) союза, расположенного в Среднем Дагестане. Акушинцы, один из самых воинственных народов Северного Кавказа, доселе еще никому не покорялись. Но подданство России им пришлось принять.

Вскоре были покорены Приморский и Южный Дагестан. В Чечне были разгромлены отряды Бей-Булата. Военные экспедиции против закубанских народов — черкесов, которые постоянными набегами тревожили Укрепленную линию на Кубани, также завершились успешно. Наступательная тактика русских войск давала хорошие результаты, и постепенно очаги военного противостояния российскому влиянию в горах стали локализовываться, хотя до окончания Кавказской войны было еще очень далеко.

За свою деятельность Ермолов получает прозвище «проконсула Кавказа». В подвластном ему Закавказье он упразднил Шекинское, Карабахское и Ширванское ханства (на территории современного Азербайджана), правители которых не раз изменяли клятвам в верности России. Подавил мятежи против местной, своей администрации в Имеретии, Мингрелии и Абхазии.

Суровый к врагам, Ермолов оставался заботливым командиром для своих солдат. Он запретил изнурять нижних чинов и офицеров учениями, прежде всего строевыми. Улучшил продовольственное снабжение. Вместо касок разрешил носить папахи, вместо тяжелых ранцев — холщовые мешки, вместо шинелей зимой — полушубки. В местах расквартирования полков строились жилые помещения. На сбереженные во время поездки в Персию деньги Ермолов построил в Тифлисе военный госпиталь.

Как глава императорской администрации, генерал А.П. Ермолов многое сделал не только для налаживания мирной жизни на Кавказе, но и для его экономического развития. Расширялась сеть путей сообщения и обеспечивалась их безопасность. Торговля и предпринимательство, особенно горное дело, получили покровительство. На Кавказских минеральных водах были устроены лечебные заведения.

Влияние Ермолова на положение дел на Кавказе и его необыкновенная популярность в русских войсках не остались незамеченными в Санкт-Петербурге. С воцарением Николая I судьба Ермолова была предрешена. Во-первых, он промедлил с приведением к присяге новому императору кавказских войск, ожидая развития событий в столице. Во-вторых, он открыто покровительствовал сосланным на Кавказ декабристам.

Не случайно Николай I писал своему фавориту Дибичу о Ермолове: «…Ему менее всех верю». Император отозвал пятидесятилетнего А.П. Ермолова с Кавказа и отправил его в отставку. Тот поселился в Москве, где пользовался не меньшей популярностью, чем на Кавказе. Более двадцати пяти лет отставной полководец находился не у дел. Когда после его отставки новые командующие кавказскими войсками отошли от ермоловской тактики ведения войны против горцев, то русские войска стали преследовать неудачи, особенно в начале 40-х годов. Возвращение же к тактике Ермолова привело к победному окончанию войны против имамата Шамиля.

В 1853 году, с началом Крымской войны, Ермолов вновь оказался на военном поприще, будучи избран начальником Московского губернского ополчения.

Герой Отечественной войны 1812 года, Бородинского сражения и войны на Кавказе Алексей Петрович Ермолов для истории остался крайне противоречивой фигурой. Он был сторонником суворовских методов воспитания и обучения войск, выступал против линейной тактики и кордонной стратегии, господствовавшей тогда в военном искусстве, отрицательно относился к аракчеевскому режиму, отличался независимым характером и большой властностью. Пребывание же А.П. Ермолова на Кавказе — это целая страница российской военной истории.