Copycat CNN: convolutional neural network extraction attack with unlabeled natural images

Página do item simplificado
dc.contributor.advisor1Santos, Thiago Oliveira dos
dc.contributor.advisor1IDhttps://orcid.org/0000-0001-7607-635X
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/5117339495064254
dc.contributor.authorSilva, Jacson Rodrigues Correia da
dc.contributor.authorIDhttps://orcid.org/0000-0002-4314-1693
dc.contributor.authorLatteshttp://lattes.cnpq.br/0637308986252382
dc.contributor.referee1Goncalves, Claudine Santos Badue
dc.contributor.referee1IDhttps://orcid.org/0000-0003-1810-8581
dc.contributor.referee1Latteshttp://lattes.cnpq.br/1359531672303446
dc.contributor.referee2Luz, Eduardo Jose da Silva
dc.contributor.referee2IDhttps://orcid.org/0000-0001-5249-1559
dc.contributor.referee2Latteshttp://lattes.cnpq.br/5385878413487984
dc.contributor.referee3Almeida Junior, Jurandy Gomes de
dc.contributor.referee3IDhttps://orcid.org/0000-0002-4998-6996
dc.contributor.referee3Latteshttp://lattes.cnpq.br/4495269939725770
dc.contributor.referee4Rauber, Thomas Walter
dc.contributor.referee4IDhttps://orcid.org/0000000263806584
dc.contributor.referee4Latteshttp://lattes.cnpq.br/0462549482032704
dc.date.accessioned2024-05-30T01:41:49Z
dc.date.available2024-05-30T01:41:49Z
dc.date.issued2023-04-25
dc.description.abstractConvolutional Neural Networks (CNNs) have been achieving state-of-the-art performance on a variety of problems in recent years, leading to many companies developing neuralbased products that require expensive data acquisition, annotation, and model generation. To protect their models from being copied or attacked, companies often deliver them as black-boxes only accessible through APIs, that must be secure, robust, and reliable across different problem domains. However, recent studies have shown that state-of-the-art CNNs have vulnerabilities, where simple perturbations in input images can change the model’s response, and even images unrecognizable to humans can achieve a higher level of confidence in the model’s output. These methods need to access the model parameters, but there are studies showing how to generate a copy (imitation) of a model using its probabilities (soft-labels) and problem domain data. By using the surrogate model, an adversary can perform attacks on the target model with a higher possibility of success. We further explored these vulnerabilities. Our hypothesis is that by using publicly available images (accessible to everyone) and responses that any model should provide (even blackboxes), it is possible to copy a model achieving high performance. Therefore, we proposed a method called Copycat to explore CNN classification models. Our main goal is to copy the model in two stages: first, by querying it with random natural images, such as those from ImageNet, and annotating its maximum probabilities (hard-labels). Then, using these labeled images to train a Copycat model that should achieve similar performance to the target model. We evaluated this hypothesis on seven real-world problems and against a cloud-based API. All Copycat models achieved performance (F1-Score) above 96.4% when compared to target models. After achieving these results, we performed several experiments to consolidate and evaluate our method. Furthermore, concerned about such vulnerability, we also analyzed various existing defenses against the Copycat method. Among the experiments, defenses that detect attack queries do not work against our method, but defenses that use watermarking can identify the target model’s Intellectual Property. Thus, the method proved to be effective in model extraction, having immunity to the literature defenses, but being identified only by watermark defenses.
dc.description.resumoRedes Neurais Convolucionais (CNNs) têm alcançado alto desempenho em vários problemas nos últimos anos, levando muitas empresas a desenvolverem produtos com redes neurais que exigem altos custos para aquisição de dados, anotação e geração de modelos. Como medida de proteção, as empresas costumam entregar seus modelos como caixas-pretas acessíveis apenas por APIs, que devem ser seguras, robustas e confiáveis em diferentes domínios de problemas. No entanto, estudos recentes mostraram que CNNs estado-da-arte têm vulnerabilidades, onde perturbações simples nas imagens de entrada podem mudar as respostas do modelo, e até mesmo imagens irreconhecíveis por humanos podem alcançar uma predição com alto grau de confiança do modelo. Esses métodos precisam acessar os parâmetros do modelo, mas há estudos mostrando como gerar uma cópia (imitação) de um modelo usando suas probabilidades (soft-labels) e dados do domínio do problema. Com um modelo substituto, um adversário pode efetuar ataques ao modelo alvo com maior possibilidade de sucesso. Este trabalho explora ainda mais essas vulnerabilidades. A hipótese é que usando imagens publicamente disponíveis (que todos tem acesso) e respostas que qualquer modelo deve fornecer (mesmo caixa-preta) é possível copiar um modelo atingindo alto desempenho. Por isso, foi proposto um método chamado Copycat para explorar modelos de classificação de CNN. O objetivo principal foi copiar o modelo em duas etapas: primeiro, consultando-o com imagens naturais aleatórias, como do ImageNet, e anotando suas probabilidades máximas (hard-labels). Depois, usando essas imagens rotuladas para treinar um modelo Copycat que deve alcançar desempenho semelhante ao modelo alvo. Avaliamos essa hipótese em sete problemas do mundo real e contra uma API baseada em nuvem, atingindo desempenhos (F1-Score) em todos modelos Copycat acima de 96,4% quando comparados aos modelos alvo. Após atingir esses resultados, realizamos vários experimentos para consolidar e avaliar nosso método. Além disso, preocupados com essa vulnerabilidade, também analisamos várias defesas existentes contra o método Copycat. Dentre os experimentos, as defesas que detectam consultas de ataque não funcionam contra o método, mas defesas que usam marca d’água conseguem identificar a Propriedade Intelectual do modelo alvo. Assim, o método se mostrou eficaz na extração de modelos, possuindo imunidade às defesas da literatura, sendo identificado apenas por defesas de marca d’água.
dc.formatText
dc.identifier.urihttp://repositorio.ufes.br/handle/10/16914
dc.languagepor
dc.publisherUniversidade Federal do Espírito Santo
dc.publisher.countryBR
dc.publisher.courseDoutorado em Ciência da Computação
dc.publisher.departmentCentro Tecnológico
dc.publisher.initialsUFES
dc.publisher.programPrograma de Pós-Graduação em Informática
dc.rightsopen access
dc.subjectAprendizado Profundo
dc.subjectRedes Neurais Convolucionais
dc.subjectRoubo de Conhecimento de Redes Neurais
dc.subjectDestilação de Conhecimento
dc.subjectExtração de Modelo
dc.subjectRoubo de Modelo
dc.subjectCompressão de Modelo
dc.subject.br-rjbnsubject.br-rjbn
dc.subject.cnpqCiência da Computação
dc.titleCopycat CNN: convolutional neural network extraction attack with unlabeled natural images
dc.title.alternativetitle.alternative
dc.typedoctoralThesis
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
JACSON RODRIGUES CORREIA DA SILVA.pdf
Tamanho:
75.16 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Coleções
Doutorado em Ciência da Computação