1980年からは、沢田研二のバックバンド「オールウェイズ」に参加。ここから柴山の40年以上にわたる沢田のバックギタリストとしてのキャリアが始まる。1981年、「オールウェイズ」はメンバーチェンジを経て「エキゾティクス」となり、1984年9月の解散まで活動。エキゾティクス時代には、沢田研二がプロデュースしたオリジナルアルバム「Library」を1983年10月にリリース。柴山は「INNOCENT -STEP ON SHADOW-」「YOU CAN TELL ME HOW」「TONIGHT -BREAK MY HEART-」の3曲で作曲とボーカルを担当した。