介護の専門家に相談できる

運転免許の取り上げについての質問です。（介護何でも相談）

運転免許の取り上げについての質問です。
私のおじいちゃんは84歳で、２ヶ月前に脳梗塞を起こしています。現在は杖を使用して部屋の中を歩いている状態です。 また、平衡感覚の異常が軽くあり、歩いていると左にかたむくことがあります。こういう状態での車の運転は非常に危険だと判断し、家族で運転をやめて欲しいことを伝えると激怒し、「事故を起こす可能性は自分だけじゃなく、お前たちにもある！！自分は運転はやめない」と興奮し、車の運転を辞めるように言った私には家の敷居をまたぐなとまで怒っています。
そして、今日は車をとうとう運転し、病院へ行ってしまいました。後ろをついていくと中央線をはみ出したりと危険な運転でした。
家族で運転免許を取り上げようとしましたがとても頑固なうえに、多少認知症もあるようなおじいちゃんで、なかなか出来ません。家族は女ばかりで力づくで取り上げることも出来ません。どのようにしたらいいでしょうか？もし、似たような経験のある方や解決法が思いつかれる方はアドバイスお願いします。