Джеймс Клеверли сделал это после того, как правозащитники призвали премьера Риши Сунака провести расследование в отношении министра.