Отец Али, Абу Талиб, и отец пророка Мухаммада, Абдаллах, были родные братья. После смерти родителей Мухаммад несколько лет воспитывался в семье своего дяди. В свою очередь, когда Абу Талиб разорился, а дела Мухаммада вследствие удачной женитьбы, напротив, пошли на лад, он взял к себе на воспитание Али — самого младшего из своих двоюродных братьев. Как известно, у пророка не было сыновей, и он всегда питал к Али поистине отцовские чувства. Когда последнему исполнилось девять лет (около 608), он принял мусульманство. В дальнейшем Али был активным и неизменным участником всех событий ранней истории ислама и всех битв, которые пророку пришлось вести с противниками своего вероучения. В бою ему обычно поручали самые трудные участки, и Али, отличавшийся могучим сложением и замечательной храбростью, всегда оправдывал возлагавшиеся на него надежды. В 624 году Мухаммад выдал за Али свою младшую дочь Фатиму.
Согласно легенде, молодые первое время жили очень бедно. Чтобы купить подарок своей невесте, Али пришлось продать кольчугу. В их доме была одна только кожаная подстилка. На одном её конце они спали, а на другом Фатима месила лепёшки.
Близкое родство с Мухаммадом и личные заслуги доставили Али выдающееся место в мусульманской общине. Многие считали, что после смерти пророка именно он должен был стать во главе правоверных. Однако халифом тогда избрали Абу Бакра. Умирая, тот назвал своим преемником Умара. По кончине Умара Али вновь был одним из главных претендентов на халифат и лишь немного уступил своему сопернику Усману. С этим халифом у Али не сложились отношения. И хотя открытыми врагами они не стали, их взаимная неприязнь была всем хорошо известна. Поэтому Али ничего не сделал для Усмана в то время, когда мятежники сорок дней осаждали его дом. А когда халиф был убит, он согласился в июне 656 года принять после него власть. Эта поспешность сильно повредила Али в глазах мусульман и в дальнейшем имела для него очень дурные последствия, поскольку враги сразу обвинили нового халифа в сговоре с убийцами его предшественника. Али так и не удалось до конца отвести от себя эти обвинения, поскольку, не имея сил расправиться с убийцами Усмана, он всех их отпустил безнаказанными.
Приняв бразды правления, Али достаточно быстро установил порядок в Медине. Его власть, хотя и не без труда, признали в Египте, Ираке и Йемене. Только правитель Сирии и Палестины Муавийа ибн Абу Суфайн отказался присягать новому халифу как человеку, запятнавшему себя связью с убийцами, и объявил себя мстителем за Усмана. Много недовольных Али было и в самой Аравии. Большинство из них переехало из Медины в Мекку, где сильную агитацию против халифа вела любимая жена пророка Аиша. В августе 656 года, когда разрыв с Муавийей сделался окончательным, Али стал готовиться к войне с ним. Но первыми выступили против него мекканцы, возглавляемые Талхой ибн Убайдаллахом, аз-Зубайром ибн ал-Аввамом и Аишей. Они отправились в Басру и возмутили её жителей. По их призыву здесь были схвачены и перебиты все участники убийства Усмана. Между тем соседняя Куфа приняла сторону Али. Горожане влились в войско халифа, и когда тот подошёл к непокорной Басре, под его началом было около 12 тысяч человек. В декабре произошло сражение, закончившееся победой Али. Талха был убит уже в первой схватке. Аз-Зубайр бежал. Оставшись без полководцев, басрийцы стали отступать, но были остановлены Аишей, которая наблюдала за битвой, сидя в паланкине на рыжем верблюде. Только после того как верблюду поранили ноги и он упал, басрийцы были окончательно опрокинуты.
Таким образом, власть Али упрочилась. В январе 657 года он перебрался в Куфу, сделавшуюся с этого времени его резиденцией. По мере того как ему присягали дальние провинции Халифата, его силы росли. Вскоре в распоряжении Али оказалась 50-тысячная армия. В апреле он выступил в поход на Сирию, возле Ракка переправился через Евфрат и встретился с Муавийей неподалёку от селения Сиффин. Здесь обе армии простояли друг против друга около месяца. Решительная битва началась только 19 июня и продолжалась девять дней с перерывами на ночь и для молитв. 27 июня успех стал как будто клониться на сторону Али. Но к этому времени оба войска были измотаны до такой степени, что находились на грани физического истощения. Один из участников битвы рассказывал позже: «Мы были покрыты пылью и кусали друг друга и дошли до того, что стояли, глядя друг на друга, и не мог ни один человек из двух войск броситься на противника и сразиться с ним». Поэтому когда Муавийа предложил заключить мир, воины сразу перестали сражаться — все ждали ответа Али. После короткого раздумья он сказал: «Вы хотите остаться в живых, и я не могу вести вас к тому, что вам претит». Начались переговоры. После долгих пререканий пришли к соглашению, что решение спора будет передано третейским судьям. Муавийа и Али обещали им подчиниться, какое бы постановление они ни приняли. После этого армии разошлись.
С военной точки зрения Сиффинская битва кончилась вничью, но в политическом отношении она была явно проиграна Али, ибо подписанием договора он поставил под сомнение своё бесспорное право на халифат. Благодаря этому Муавийа, до этого рассматривавшийся как простой мятежник, был поставлен вровень со своим противником. Сторонники Али не могли этого не понимать. Если до этого армия дружно поддерживала халифа, то теперь в ней произошёл раскол. При подходе к Куфе значительная часть войска (от 8 до 12 тысяч) отделилась от Али и устроила сходку в селении ал-Харура. На ней было решено, что коль скоро Али не проявил достаточной твёрдости и упустил власть из своих рук, то следует после победы над Муавийей созвать совет и избрать нового халифа. Эта группа отколовшихся получила сначала название харуритов, но в дальнейшем их последователей стали именовать хариджитами (от глагола хараджа — «выйти», «восстать»). Спустя несколько лет хариджиты образовали самостоятельное течение в исламе со своим оригинальным учением (одно из главных положений этого учёния заключалось в том, что власть халифа не может быть наследственной, но должна передаваться наиболее достойному из членов общины). Али стоило немалого труда уговорить этих воинов вернуться вместе с ним в Куфу, однако раскол между хариджитами и халифом так и не был преодолён.
В январе 658 года двое арбитров (по одному от каждой стороны) встретились в Думат ал-Джандал. Они долго совещались, однако так и не смогли прийти к какому-либо согласованному решению. В марте совещания были со скандалом прерваны, и военные действия возобновились. Но прежде чем выступить против Муавийи, Али пришлось подавлять возмущение своих бывших сторонников — хариджитов. Известие о неудачном исходе переговоров всколыхнуло эту партию. Хариджиты укрепились в городке ан-Нахраван, избрали своим предводителем Абдаллаха ибн Вахба ар-Расиби и решили начать борьбу против халифа, передавшего на людской суд дело, предопределённое Аллахом. Раздосадованный Али двинулся на непокорных. Обладая большим численным перевесом (хариджитов насчитывалось не более 3 тысяч), он одержал в июле 658 года победу и предал мятежников поголовному истреблению. Однако это была воистину «пиррова победа», так как после побоища в ан-Нахраване наиболее рьяные защитники прав Али на халифат стали его самыми заклятыми врагами, более непримиримыми и жестокими, чем сам Муавийа. К тому же после победы пыл остальных сторонников Али угас, и многие из них разошлись по домам. Мусульманские историки пишут, что причиной этого было общее разочарование знати в своём халифе, ибо тот упорно старался править в духе первоначального ислама. Когда однажды Али спросил своего советника ал-Аштара, почему прежние соратники охладели к нему и уходят к Муавийи, тот будто бы ответил: «Ты управляешь людьми и обращаешься с ними согласно праву, и уравниваешь низкого с благородным, и нет у тебя преимущества в положении благородного над низким… А Муавийа поступает с состоятельными и благородными людьми иначе: привлекает души людей, склонных к бренному миру, а ведь мало кто не тяготеет к нему…» И в самом деле, Али был даровитый поэт и оратор, воин непререкаемой храбрости, но он не обладал ни талантом правителя, ни умением привлекать к себе сердца сторонников.
Война тем временем продолжалась. В июне 658 года один из деятельных сподвижников Муавийи, Амр ибн ал-Ас, вторгся в Египет и без труда овладел этой важной провинцией, сразу после этого начался отпад персидских областей. Али так и не удалось собрать войско для похода в Сирию, и в 659 году Муавийа перешёл в наступление. Его отряды стали совершать набеги на Ирак. Али отражал их с большим трудом. Муавийа почувствовал, что враг слабеет, и объявил себя в Иерусалиме халифом. В ноябре 660 года он отправил в Аравию отряд под командованием Бусра ибн Арта. Тот без боя овладел Мединой и Меккой, вторгся в Йемен и заставил его жителей присягнуть Муавийи. Хотя через некоторое время Али удалось вернуть Мекку, этот эпизод ещё больше уронил его авторитет.
Между тем хариджиты, избегшие смерти у ан-Нахравана, поклялись убить обоих виновников раскола мусульманской общины — и Али, и Муавийю. 22 января 661 года трое заговорщиков во главе и Ибн Мулджамом спрятались в мечети Куфы. Когда утром Али провозгласил призыв к молитве и вошёл внутрь здания, хариджиты бросились на него и нанесли несколько тяжёлых ран. Вечером 23 января халиф скончался.