On the efforts on training deep neural networks: reducing computational and data-related costs

Página do item simplificado
dc.contributor.advisor1Santos, Thiago Oliveira dos
dc.contributor.advisor1IDhttps://orcid.org/0000-0001-7607-635X
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/5117339495064254
dc.contributor.authorBerriel, Rodrigo Ferreira
dc.contributor.authorIDhttps://orcid.org/000000026701893X
dc.contributor.authorLatteshttp://lattes.cnpq.br/4293976228406435
dc.contributor.referee1Souza, Alberto Ferreira de
dc.contributor.referee1IDhttps://orcid.org/0000000315618447
dc.contributor.referee1Latteshttp://lattes.cnpq.br/7573837292080522
dc.contributor.referee2Baduê, Claudine Santos
dc.contributor.referee2IDhttps://orcid.org/0000-0003-1810-8581
dc.contributor.referee2Latteshttp://lattes.cnpq.br/1359531672303446
dc.contributor.referee3Boldt, Francisco de Assis
dc.contributor.referee3IDhttps://orcid.org/0000-0001-6919-5377
dc.contributor.referee3Latteshttp://lattes.cnpq.br/0385991152092556
dc.date.accessioned2024-05-30T00:50:09Z
dc.date.available2024-05-30T00:50:09Z
dc.date.issued2021-09-28
dc.description.abstractNowadays, deep neural networks (DNN) are ubiquitous. Many of our daily problems have been solved or alleviated with the help of such models. It is important to note, though, that the success of these models is built on top of some drawbacks: they are data hungry and computationally intensive. In order to achieve the performance required for real-world usage, it is often necessary to train these DNNs in massive data sets. These data sets, in turn, require the acquisition and annotation of a lot of samples. Both these processes, data acquisition and annotation, are expensive and time-demanding, i.e., they require a lot of investment in sensors, time, and people in a series of sometimes tedious tasks that are error-prone. In this thesis, we explore ways of reducing the effort on training deep neural networks, especially towards the aforementioned problems. We investigate how to leverage data readily available online to reduce the data acquisition cost. Moreover, we propose to fuse data from multiple online services to reduce the data annotation cost. Furthermore, we also study ways of reducing the computational cost on inference time, particularly on the perspective of multi-domain learning. Our results show many applications of automatic large-scale data acquisition and annotation that proved to be useful for training deep convolutional networks for both classification and regression real-world problems. In addition, we proposed a model that has a low computation complexity, requires lower storage, and has a low memory footprint compared to existing alternatives, demonstrating an effective way of reducing the computational requirements of deep networks. Finally, our proposals showed that the efforts in training deep networks can be reduced even further, particularly when it comes to data-related and computational costs.
dc.description.resumoAtualmente, redes neurais profundas (DNNs, do inglês Deep Neural Networks) estão em todos os lugares. Muitos dos nossos problemas diários têm sido resolvidos ou amenizados com a ajuda de tais modelos. No entanto, é importante ressaltar que o sucesso desses modelos se baseia em algumas inconveniências: eles requerem muitos dados e grande poder computacional. Para alcançar o desempenho necessário para usá-los no mundo real, frequentemente são necessárias bases de dados massivas para treiná-los. Essas bases de dados, por sua vez, requerem a coleta e anotação de muitas amostras. Ambos processos, coleta e anotação de dados, são caros e demandam muito tempo, i.e., eles requerem muito investimento em sensores, tempo e pessoas em uma série de tarefas eventualmente entediantes e propensas a erros. Nessa tese nós exploramos maneiras de reduzir os esforços necessários para treinar redes neurais profundas, especialmente em relação aos problemas mencionados. Nós investigamos meios de usar dados que já estão disponíveis na internet para reduzir os custos de aquisição de dados. Além disso, nós também estudamos maneiras de reduzir o custo computacional em tempo de inferência, particularmente na perspectiva da aprendizagem de múltiplos domínios. Nossos resultados mostram aplicações da coleta e anotação automática em grande escala que provaram ser úteis no treinamento de redes convolucionais profundas para ambos problemas de classificação e regressão no mundo real. Adicionalmente, nós propusemos um modelo que possui baixa complexidade computacional, requer menos armazenamento e possui um baixo consumo de memória quando comparado com as alternativas da literatura, demonstrando uma forma eficaz de reduzir os requisitos computacionais de redes profundas. Por fim, nossas propostas mostraram que os esforços envolvidos no treinamento de redes profundas podem ser reduzidas ainda mais, principalmente no que tange aos custos computacionais e aos relacionados a dados.
dc.description.sponsorshipConselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)
dc.formatText
dc.identifier.urihttp://repositorio.ufes.br/handle/10/15216
dc.languagepor
dc.publisherUniversidade Federal do Espírito Santo
dc.publisher.countryBR
dc.publisher.courseDoutorado em Ciência da Computação
dc.publisher.departmentCentro Tecnológico
dc.publisher.initialsUFES
dc.publisher.programPrograma de Pós-Graduação em Informática
dc.rightsopen access
dc.subjectAprendizagem profunda
dc.subjectaquisição de dados
dc.subjectanotação de dados
dc.subjectaprendizagem de múltiplos domínios
dc.subject.br-rjbnsubject.br-rjbn
dc.subject.cnpqCiência da Computação
dc.titleOn the efforts on training deep neural networks: reducing computational and data-related costs
dc.title.alternativeOn the efforts on training deep neural networks: reducing computational and data-related costs
dc.typedoctoralThesis
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
RodrigoFerreiraBerriel-2021-tese.pdf
Tamanho:
4.47 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Coleções
Doutorado em Ciência da Computação