Родился 22 января 1954 года в семье военнослужащего Исаака Ярмольника (1930—2010), командовавшего мотострелковым батальоном, и Фаины Ярмольник (род. 1935), лаборанта в клинической лаборатории. В детстве занимался плаванием, конькобежным спортом, музыкой, участвовал в драматической студии, увлекался музыкой группы "The Beatles". Детство и школьные годы прошли во Львове.
Окончил Театральное училище имени Б. В. Щукина в 1976 году; курс Ю. В. Катина-Ярцева, которого считает своим учителем. На заре актёрской карьеры успешно выступал на эстраде как мастер юмористической пантомимы ("Цыплёнок табака"). Принимал участие в популярной телевизионной юмористической программе "Вокруг смеха".
В 1976—1984 годах — актер Театра на Таганке.
В конце 1980-х годов гастролировал в США вместе с Андреем Макаревичем.
В начале 1990-х годов вёл на советском радио "Шоу Леонида Ярмольника".
Учредитель и президент студии "L-клуб" (дистрибуция фильмов), вел одноимённую передачу на телевидении.
Был ведущим телеигр "Форт Боярд", "Отель", "Золотая лихорадка" и "Гараж".
В качестве члена жюри не пропускает практически ни одной крупной игры КВН. В частности, 12 раз подряд участвовал в жюри фестиваля КВН "Голосящий КиВиН".
Работает в театре "Современник".