Помогли только одни стандартные настройки системы, хотя многие советуют не делать этого, а обойтись собственной настройкой, без понятия почему так, но после этого выставил все рекомендованные настройки без проблем и почти без лагов.
Я вот так сделал, естественно все настройки слетели, но после восстановления исчезли проблемы "скачков fps" и качества при трансляции... (бывало, надолго опускалось в 0, естественно обходился только записью, хотя перепробовал все настройки битрейта, остановился на стандарте Youtube)
Сервис/Мастер автоматической настройки/Оптимизировать для трансляции и записи
Ну, а потом подстраиваем, как советуют