A pesar de su muerte, Olmedo hoy día sigue siendo recordado como un actor que hizo reír a más de una generación. Su primer personaje exitoso fue El Capitán Piluso, en un ciclo que arrancó en 1960 y que aunque estaba dirigido a un público infantil cautivó sobre todo a los espectadores mayores.
En 1964, ingresó al elenco de Operación Jaja, un ciclo de Hugo y Gerardo Sofovich. En el programa comenzó a mostrar sus personaje picarescos, en una dupla con Javier Portales.
En 1981, hizo No toca botón por Canal 11 y los personajes más famosos como Jorge Luis Borges, Rogelio Roldán y sobre todo El Manosanta.
Mientas triunfaba en televisión, Olmedo llegaba al cine en una sucesión de 45 películas junto a Jorge Porcel. La dupla Olmedo- Porcel vivió su apogeo en plena dictadura, y sus films fueron muy criticados por responder a una cultura cargada de prejuicios y censura y ser funcionales al Gobierno militar.
Algunos de sus films más conocidos fueron Los caballeros de la cama redonda, Mi novia él, Las mujeres son cosa de guapos, Rambito y Rambón. En teatro también tuvo grandes éxitos como El negro no puede y Éramos tan pobres.
Olmedo tuvo seis hijos. Uno de ellos, Fernando Olmedo, falleció junto al cantante de cumbia Rodrigo en un accidente automovilístico en junio de 2000. Su último hijo, «Albertito» Olmedo nació siete meses después de su muerte.
En la madrugada del 5 de marzo de 1988, tras una noche de excesos, Alberto Olmedo cayó desde el balcón de su departamento del piso 11 del edificio Maral 39, en Mar del Plata, y falleció prácticamente en el acto.
Aunque se tejen diversas hipótesis alrededor de esta tragedia, la única presente en ese momento fue su pareja, Nancy Herrera, que en más de una oportunidad declaró que fue sólo un accidente, aunque otros dicen que se suicidó.