Normalmente cuando quieres desinstalar un plugin de symfony basta con hacer:

$ symfony plugin:uninstall <nombre_plugin>

Pero a veces el resultado no es el deseado, obteniendo un error como este:

>> plugin    uninstalling plugin "nombre_plugin"
>> sfSymfonyPluginManager Plugin "nombre_plugin" is not installed

Intenta en ese caso

symfony plugin:uninstall symfony/nombre_plugin

P.D: Lo que no te evitas en ningún caso es la eliminación manual del enlace simbólico en ./web que se crea al instalar el plugin con el publish-assets