Excluindo um diretório e todo o seu conteúdo

string caminho = @"C:\seuDiretorio";

DirectoryInfo diretorio = new DirectoryInfo(caminho);

diretorio.Delete(true);