ボタンやトグルはフォーカスがあると、スペースキーやエンターキーでクリックイベントが発火してしまうので、意図しないクリックイベントが発火してしまい、少々面倒でした。
やり方
調べてみるとありました。
Button is being triggered by spacebar after clicked once - Unity Answers
NavigationをNoneにすれば良いみたいです。
解説
Navigation Options は UI 要素のナビゲーションがプレイモードでどのように管理されるかを参照します。
【uGUI】Buttonの使い方 - Qiita
例えばNavigationをNoneにするとフォーカスしなくなるので、
Selected Colorの色は使われることはありません。
感想
プロトタイプ作って、面白いか検証している時に、scene移動のボタンとかのクリックイベントが発火してしまい、煩わしかったのですが、これで解決しそうです!