AWS SSOを削除したらDirectory Serviceでディレクトリを削除できなくなった場合。
つまり切断のし忘れがほぼその原因だと思います。
結論としてSSOを再有効化して対象ディレクトリに接続します。
その後、切断します。
その上でSSOも削除します。
ドキュメントにも最初に切断しろと書いてます。
ディレクトリの削除
https://docs.aws.amazon.com/ja_jp/directoryservice/latest/admin-guide/ad_connector_delete.html
If you are using AWS Single Sign-On and have previously connected it to the AWS Managed Microsoft AD directory you plan to delete, you must first disconnect the directory from AWS SSO before you can delete it. For more information, see Disconnect a Directory in the AWS SSO User Guide.