Error backpropagation led to significant advances in deep learning by solving the credit assignment problem of multi-layer perceptron. However, it suffers from a variety of biological inplausiblity and computational inefficiency. To overcome these, there has been research on learning methods that use random weights and learning methods that can be parallelized. In our laboratory, we proposed layer-wise parallel learnings method that can train the feedback synaptic weights by synchronizing between forward propagated signal and direct forward propagated signal. Currently, we are researching the various learning methods based on Predictive Coding theory.

오류 역전파 알고리즘은 심층 신경망에서 각 레이어별 오류 할당 문제를 해결하여 딥러닝의 성공에 기여하였습니다. 그러나 이러한 오류 역전파 학습법은 여러가지 생물학적 비근사성 문제와 계산 비효율성 문제를 가지고 있습니다. 이를 해결하기 위해 무작위 역방향 시냅스 가중치를 사용하는 방법, 레이어별 병렬 역전파를 수행하는 방법 등 여러가지 학습법이 제안되어 왔습니다. 저희는 신경망의 순방향 전파와 직접 순방향 전파의 신호를 동기화하는 방향으로 직접 역방향 가중치를 학습하고, 이를 통하여 신경망을 레이어별 병렬 학습하는 방법을 제안하였고, 현재는 Predictive Coding 이론에 기반한 학습 이론을 연구 중에 있습니다.

Adversarial robustness of deep neural networks (DNNs) is a critical research area for the safe commercialization of AI technologies. However, current adversarial defense methods still offer limited robustness due to the complex and diverse causes of adversarial vulnerabilities and the varying attack/defense environments. In this regard, this reseasrch aims to develop more robust and explainable adversarial defense methods by analyzing the hypotheses and properties related to the causes of adversarial vulnerabilities, uncovering their relationships, and identifying key factors. Given that adversarial vulnerabilities often exhibit domain-specific properties, this research also considers life-critical applications, such as medical diagnostic systems and autonomous vehicles, in addition to general vision tasks.

DNNs의 적대적 강건성은 AI기술의 안전한 상용화를 위해 필수적인 연구 분야이나, 현재의 적대적 방어 방법들은 여전히 제한된 강건성을 제공하고 있다. 이는 적대적 취약성을 유발하는 원인 및 공격/방어 환경이 복잡하고 다양하기 때문이다. 이에 본 연구에서는 적대적 취약성의 원인 대한 가설 및 특성들을 분석하여 서로의 연관성을 밝혀내고 핵심 요인들을 탐구함으로써 설명 가능하면서도 보다 강건한 적대적 방어 방법을 개발하고자 한다. 이 과정에서 적대적 취약성이 가지는 도메인-특정적 특성들 또한 고려해야 하므로, 본 연구에서는 일반적인 비전 태스크에 더하여 의료진단시스템이나 자율주행자동차와 같은 life-ciritical한 적용 분야에 대한 연구를 병행하고 있다.

Multimodal retrieval is a critical research area focused on understanding and retrieving relationships across various forms of data. In our lab, we specifically focus on composed image retrieval and text-video retrieval. Composed image retrieval involves combining text and image queries to find specific target images, with key challenges being the understanding of complex queries and the fine-grained evaluation of image similarity. Text-video retrieval aims to find relevant video content based on text queries, striving to accurately capture the semantic connections between text and video. These research efforts are paving the way for better information retrieval technologies, aiming to improve understanding of different types of data and make information retrieval more accurate and efficient in practical applications.

Multimodal retrieval은 다양한 형태의 데이터 간의 관계를 이해하고 검색하는 중요한 연구 분야 입니다. 그 중 저희 연구실에서는 composed image retrieval과 text-video retrieval에 중점을 두고 연구를 수행하고 있습니다. Composed image retrieval은 텍스트와 이미지를 결합하여 사용자가 원하는 특정 이미지를 검색하는 방법으로, 이 과정에서 복합적인 쿼리 이해와 이미지 간의 세밀한 유사성 평가가 핵심 과제로 다뤄지고 있습니다. Text-video retrieval은 텍스트 쿼리를 기반으로 적합한 비디오 콘텐츠를 찾는 작업을 포함하며, 이는 텍스트와 비디오 간의 의미적 연결을 정확하게 이해하는 것을 목표로 합니다. 이러한 연구들은 급성장하는 정보 검색을 위한 초석이 되며 이를 통해 다양한 형태의 데이터를 이해하고 실제 세계에서의 정보 검색의 정확성과 효율성을 극대화하고자 합니다.

This study investigates an abstractive summarization model based on diffusion, integrating a factual consistency guidance module to achieve both factual consistency and diversity in summary generation. Diffusion models have recently demonstrated the ability to generate high-quality and diverse images in the field of image generation. Additionally, it has been proven that these models can generate highly diverse text as well. However, the drawback is that while the diversity is high, the factual consistency tends to be low. To address this issue, this study aims to generate summaries that are both highly diverse and factually consistent by integrating a module that can guide factual consistency into the diffusion model.

본 연구는 요약 생성 시 사실적 일관성과 다양성을 동시에 달성하기 위해, 사실적 일관성 가이드 모듈을 통합한 디퓨전 기반 추상적 요약모델 연구입니다. 디퓨전 모델은 최근 이미지 생성 분야에서 다양성이 높으며 품질이 좋은 이미지를 생성하였습니다. 뿐만 아니라 텍스트 생성에서도 다양성이 높은 텍스트를 생성하는 것이 증명되었습니다. 하지만 다양성이 높은 반면 사실적 일관성이 떨어지는 단점이 있습니다. 본 연구에서는 이를 보안하기 위해 사실적 일관성을 가이드 할 수 있는 모듈을 디퓨전 모델과 통합하여 다양성이 높으면서도 사실적 일관성이 높은 요약문을 생성하고자 합니다.

Few-shot learning is a study on deep learning methods in situations where the number of learning data is limited. It aims to achieve sufficiently good performance with a small number of data, and is characterized by fast learning and light learning. In this study, we combine Class factor analysis with Few-shot learning to overcome existing limitations. We estimate environment factors from a relatively large Meta-train set and use them for testing. Using environment factors, we remove environmental noise from data and emphasize only class factors to convert them into features that are easy to classify.

Few-shot learning은 학습 데이터의 수가 제한적인 상황에서 딥러닝 방법에 대한 연구이다. 적은 수의 데이터만으로도 충분히 좋은 성능을 낼 수 있도록 목표로 하며 빠른 학습, 가벼운 학습이 특징이다. 본 연구에서는 Class factor analysis를 Few-shot learning과 결합시켜 기존의 한계를 넘어선다. 비교적 많은 수를 가진 Meta-train set에서 environment factors를 추정하여 테스트에 사용한다. Environment factors를 이용하여 data에서 environmental noise를 제거, class factors만을 강조하여 분류에 용이한 feature로 변환한다.