Его отец Эльяшив (Илья Абрамович, также Львович; 1828–77), сын раввина, по окончании Виленского раввинского училища освоил самоучкой французский и немецкий языки, служил на различных станциях железной дороги, а около 1870 г. привез семью в Москву и зарабатывал частными уроками. Он дал детям хорошее домашнее образование.
В 1873 г. Левитан поступил в Московское училище живописи, ваяния и зодчества, где уже учился его брат Адольф (Авель Лейб), ставший живописцем-жанристом и автором рисунков для журналов.
После смерти матери (1875) и отца братья остались без крова. Левитан часто ночевал тайком в училище и жил впроголодь, получая эпизодически пособия, а с октября 1879 г. — небольшую стипендию. С мая 1879 г., в связи с выселением евреев из Москвы, вынужден был жить в Подмосковье (деревня Салтыковка; в 1880–83 гг. — в Останкине). Он смог вернуться в город только с помощью влиятельных друзей. Близкие родственники Левитана, также высланные из Москвы, остались без заработка, и ему приходилось им помогать.
В Салтыковке Левитан написал картину «Осенний день. Сокольники», приобретенную вскоре П. Третьяковым для своей галереи. Высоко ценимый своими учителями, А. Саврасовым (с 1877 г.) и В. Поленовым (с 1882 г.), в 1880–81 окончил натурный класс училища, но картины на звание классного художника не исполнил и в 1884 оставил училище с дипломом учителя рисования. Диплом вручен в апреле 1886 г.
Он много лет бедствовал и до конца жизни не имел собственного жилья. В конце 1889 г. богатый художник-любитель С. Морозов уступил Левитану свою мастерскую с квартирой при ней. Левитан был другом А.П. Чехова, К.А. Коровина, В.А. Серова. «Агасферовское проклятие», как писал Левитан, тяготело над ним и в годы славы. В сентябре 1892 г. ему предписали покинуть Москву при выселении из нее евреев. Он вернулся в декабре, но постоянный вид на жительство получил лишь к началу 1894 г.
Левитан был участником выставок Товариществоа передвижников (с 1884, с 1891 – чл.), Московского общества любителей художеств (1886, в 1911 общество организовало ретроспективную выставку Левитана), мюнхенского Сецессиона (с 1897), объединения «Мир искусства» (с 1898).
Чувство бездомности усугублялось у Левитана его особым положением в русской художественной жизни его времени. Движение русской природы поэтизировал А. Саврасов, драматизм перемен — Ф. Васильев, а её эпическое величие выявляли с трезвой точностью И. Шишкин и с романтическим пафосом А. Куинджи. Её обыденные уголки уже В. Поленов часто делал мотивом своих созерцательных пейзажей.
Для бесприютного еврея Левитана в русской природе впервые открылось волшебство их созвучности эмоциям человека и возможность воплощать его интимнейшие переживания средствами пейзажной живописи. В своем творчестве Левитан сделал зримым «трав прозябанье» (Е. Баратынский), проник в тайну «слышимой тишины» (И. Тургенев), слил воедино «и темный бред души, и трав неясный запах» (А. Фет).
Вместе с Коровиным и Н.А. Клодтом Левитан стоял у истоков художественного кружка «Среда». Творческое восприятие русской традиции пейзажной живописи привело Левитана от детализации и жанрово-повествовательной трактовки к так называемому пейзажу настроения. Никто из пейзажистов не смог с такой простотой и поэтичностью передать типично русские мотивы. В картинах, писавшихся по этюдам с натуры, Левитан, чтобы сохранить изначальную свежесть восприятия природы и владевшее им настроение, опускал подробности, обозначал порой детали двумя–тремя точными мазками, добивался ощущения трепетной зыбкости световоздушной среды, окутывающей ландшафт. Новизна его пейзажей, близких по письму работам французских художников так называемой барбизонской школы, а по одухотворенности — произведениям К. Коро, долго не находила понимания и часто вызывала издевательские отзывы в печати.
Многие годы Левитан был связан с Товариществом передвижных выставок (член с 1891 г.), но всегда был чужим ему, так как почти не следовал его программе социального обличения. Чужаком оказался Левитан и для художников объединения «Мир искусства», с которыми сблизился в конце 1890-х гг. на почве поисков выразительной художественной формы, но не мог принять их основной лозунг «искусство для искусства».
В начале 1890-х гг. созданный Левитаном жанр так называемого пейзажа настроения стал служить ему для выражения сложных раздумий о жизни. Его занимают жуткая затаенность природы, грозящей бедами («У омута», 1892), и ее тихая озаренность, сулящая душевный покой («Вечерний звон», 1892), неизбывное уныние мест, ознаменованных скорбью народа («Владимирка», 1892), и загадка отношений недолгого человеческого бытия и извечной необжитости неоглядных просторов («Над вечным покоем», 1894).
Непрестанные искания приблизили Левитана к приемам письма импрессионистов, работы которых он видел во время поездок во Францию, Италию, Швейцарию (1890, 1894, 1897, 1898). Но его не увлекали стихия светоносного цвета и принципиальная «этюдность» их произведений, и он остался верен пониманию картины как воплощения синтетического художественного образа. Картина «Озеро. Русь» (1900, не окончена) синтезирует в себе тему величавой бескрайности России и просветленное жизнеутверждение, которое в полотнах Левитана («Свежий ветер. Волга», 1891–95; «Март», 1895, и других) все чаще стало вытеснять характерное в целом для его творчества меланхолическое настроение.
Даже антисемитская газета "Новое время" признала, что "этот чистокровная еврей знал, как никто другой, как заставить нас осознать и любить обычные домашние сцены своей страны (29 июля 1900)".
В 1897 году он был избран действительным членом мюнхенского общества «Сецессион». В марте 1898 г. Левитан получил звание академика живописи. С 1898 руководил пейзажным классом Московского училища живописи, ваяния и зодчества. Тяжелая болезнь сердца и смерть в 1900 году помешали ему создать собственную школу русского пейзажа, но влияние Левитана на развитие русской пейзажной живописи в 20 в. было решающим. Левитан был похоронен на Дорогомиловском еврейском кладбище