Issu d'une famille bourgeoise caennaise, il fait des études brillantes de droit et obtient un doctorat. Il devient chargé de cours à l'université de Caen, puis de Grenoble et de Toulouse. Adolphe Thiers le nomme préfet de la Charente en avril 1871. Il va alors poursuivre une carrière dans la préfectorale, enchaînant successivement les postes de préfet de l'Isère, de Corse, du Doubs, des Bouches-du-Rhône, puis enfin de la Seine, de 1883 à 1896.

Le préfet de la Seine était très influent à une époque où la fonction de maire avait été mise entre parenthèses à Paris. Il était notamment chargé de l'administration courante. C'est ainsi qu'il fut amené à prendre les arrêtés du 24 novembre 1883 et du 7 mars 1884 qui obligeaient les propriétaires d'immeubles à mettre à disposition de leurs locataires des récipients communs, munis d'un couvercle et d'une capacité suffisante pour contenir les déchets ménagers. La dimension et même la contenance de ces récipients étaient strictement contrôlées : 40 à 120 litres. L'arrêté prévoit également le tri des déchets : trois boîtes sont obligatoires, une pour les matières putrescibles, une pour les papiers et les chiffons et une dernière pour le verre, la faïence et les coquilles d'huîtres.

La définition de la « poubelle » fut insérée en 1890 dans le supplément du Grand dictionnaire universel du XIX^e siècle.

Eugène Poubelle fut également à l'origine de la mise en route du tout-à-l'égout, concept qui, à la suite de la dernière résurgence du choléra en 1892, gagna la faveur du public. Cela lui permit, en 1894, de faire passer un arrêté imposant aux propriétaires de raccorder leurs immeubles au réseau d'égout et de payer les frais d'exploitation afférents à la collecte de leurs eaux usées.

En 1896, il fut nommé ambassadeur au Vatican et comte romain en 1898