Azure ADテナント(Azure AD B2Cを含む)を削除するときにはいろいろ手順を踏まないといけませんが、その中でも面倒なのが Microsoftのファーストパーティーアプリケーション(Microsoft First Party Application) とかいうやつです。
テナント削除時は登録したユーザーやアプリケーションなど関連リソースは全部消してからでないとテナント削除できませんが、このファーストパーティーアプリケーションは削除が無効化されてたりします。
ちゃんと(?)削除する場合は松村さんが書いてるPowerShellとかで削除するといいですが、もう削除しようとしているテナントの為にAzure PowerShell環境用意したり、Cloud Shellがんばったりするの面倒ですよね。
Microsoft ファーストパーティー以外のアプリは削除しておかないといけませんが、Microsoftファーストパーティーのアプリはサインインさえできなくなっていれば実は問題ない感じです。
というわけで「ユーザーのサインインが有効になっていますか?」を「いいえ」にして保存すれば無理に削除しなくてもテナント削除できる可能性があります。

という感じで削除したい場合に試してみてください。
おまけ
Azureポータル上だとテナント削除時に「削除できませんでした」としか出ませんがAPI的にはちゃんとエラーメッセージ返ってきてるので、原因よくわからない場合はブラウザのDevToolとかでみるといいと思います。
{
"ClassName": "Microsoft.Portal.Framework.Exceptions.ClientException",
"Message": "[SI1PEPF00004BBD]Company xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx has enabled service principals and thus cannot be deleted Azure DevOps:xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx ",
"Data": {},
"HResult": -2146233088,
"XMsServerRequestId": null,
"Source": "Microsoft.ActiveDirectory.PortalExtension.ADExtension",
"HttpStatusCode": 403,
"ClientData": {
"errorCode": "ActiveServicePrincipal",
"localizedErrorDetails": null,
"operationResults": null,
"timeStampUtc": "2022-08-01T05:39:32.4724863Z",
"clientRequestId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"internalTransactionId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"tenantId": null,
"userObjectId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxexxxxxxx",
"exceptionType": "FaultException<CannotDeleteAzureTenantFault>"
}
}