Для дурацкой идеи нужна защита от "дурака".
Не нужно никаких переключателей, иначе в какой-то момент найдётся идиот и подключит полный сигнал напрямую на драйвер, ну последствия думаю вы понимаете.
Да, и поставьте после фильтра делитель перед драйвером для пущей надёжности: 4 ом последовательно и 8 ом паралельно драйверу.
p.s. если уж сильно надо переключать, то в режиме "напрямую" в цепь драйвера последовательно хотя бы поставьте конденсатор на 10 мкФ, это хоть как то убережёт от ошибки.Но лучше откажитесь от такого режима.