Research Project

학습 없는 프롬프트 추론 기반 멀티모달 누락 정보 복원 기술
Training-Free Prompt-Based Reasoning for Multimodal Missing Modality Completion
(2025.09 ~ 2027.08)

• 학습 없는 프롬프트 추론과 외부 지식 연계를 통해 이미지·텍스트·오디오가 일부 결손된 상황에서도 누락 모달리티를 복원할 수 있는 강건한 멀티모달 프레임워크를 연구

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2025년도 2차 박사과정생연구장려금지원사업)

신뢰할 수 있는 AI 시스템 구축을 위한 모델 병합 기반 분포 변화 대응 기술 개발
Model Merging-Based Distribution Shift Adaptation for Trustworthy AI Systems
(2025.09 ~ 2027.08)

• 서로 다른 데이터 환경과 편향을 학습한 여러 모델의 가중치를 효과적으로 병합하여 분포 변화와 허위 상관관계, 사회적 편향에도 강건하게 대응할 수 있는 프레임워크를 연구

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2025년도 2차 박사과정생연구장려금지원사업)

1인칭 시점의 오디오-비주얼 맥락 이해를 위한 기술
Egocentric Audio-Visual Context Understanding : Look & Listen, Think, Understand
(2025.09 ~ 2026.08)

• 1인칭 시점 오디오·비주얼 정보를 효과적으로 정렬·융합하고 파라미터 효율 학습과 프롬프트 기반 학습을 통해 현실 맥락 이해를 가능하게 하는 프레임워크를 연구

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2025년도 2차 석사과정생연구장려금지원사업)

인간의 성장 발달과정을 모사한 인간지향적 AI 모델 개발
Human-oriented AI Model that Imitates the Human Growth Process based Cognitive Science
(2025.04 ~ 2029.12)

• 공간지능을 기반으로 수많은 물리현상과 그 속의 인과 관계를 인간의 인지 과학적 학습모델을 통해 이해하고 설명할 수 있는 인간지향적 AI 모델 개발

• Funded by Institute for Information & communications Technology Promotion (IITP) (인간지향적차세대도전형AI기술개발)

신뢰가능한 인공지능 연구단
Pioneer Research Group for Socially Responsible Artificail Intelligence
(2024.07 ~ 2026.12)

• 대규모 언어 모델의 학습 알고리즘 개발, AI 정렬 요소 정의를 통한 인공지능 윤리 가이드라인 제작, 그리고 멀티모달 데이터셋의 개인정보 보호 기술 개발을 통해 인공지능이 인간의 의도와 가치에 부합하면서도 사회적 그리고 윤리적 기준을 충족하는 신뢰성 있는 Socially Responsible AI 연구 체계를 구축

• Funded by Institute for Information & communications Technology Promotion (IITP) (정보통신기획평가원 디지털분야해외석학유치지원사업)

신뢰가능하고 안전한 인간-AI 정렬기술 연구개발
Development of Reliable, Secure, and Safe Human-AI Alignment Techniques
(2024.07 ~ 2026.12)

• 거대 언어 모델의 정신건강 분야 적용 시 발생할 수 있는 정렬 오류 문제와 로봇 인공지능 기술에서 발생할 수 있는 정렬 오류에 초점을 맞추어, 이들 오류에 대응하기 위한 기술 개발 방안을 탐구

• Funded by Institute for Information & communications Technology Promotion (IITP) (정보통신기획평가원 디지털분야글로벌연구지원사업)

지능형멀티미디어연구센터 / 메타버스융합대학원사업
Center for Multimedia Intelligence / Metaverse Convergence Graduate School
(2023.09 ~ 2029.08)

• 실감형 메타버스 ICT기술과 문화/영상 콘텐츠 기술 모두를 선도하는 기업친화적이며 융합적인 글로벌 리딩 메타버스 전문가 양성

• Funded by Institute for Information & communications Technology Promotion (IITP) (정보통신기획평가원 메타버스융합대학원 지원사업)

RGB-X 데이터의 다중-모달 다수-작업 학습을 위한 경로 네트워크 기술
RGB-X Path Networks for Multi-modal Multi-task Learning
(2023.03 ~ 2026.02)

• RGB 이미지와 선택적으로 주어지는 정보(깊이, 열화상, 촉각, 텍스트 등)를 효율적으로 융합하고, 서로 다른 작업 및 환경간의 지식 전이를 통합적으로 수행할 수 있는 RGB-X 데이터의 다중-모달 다수-작업 학습을 위한 경로 네트워크  기술을 연구

• Funded by National Research Foundation (한국연구재단 이공분야기초연구사업 - 우수신진연구)

질문 적응형 인코더 및 프롬프트 생성을 통한 오디오 비주얼 질의응답 기술
Audio-Visual Question Answering via Question-aware Encoder and Prompt Generation
(2024.09 ~ 2025.08)

• 질문 적응형 인코더를 통해 오디오와 시각 정보를 효과적으로 융합하고, 파라미터 효율 학습과 프롬프트 생성 기법을 통한 대규모 언어모델의 효과적인 적용으로 현실 상황에 맞는 효율적인 질의응답 프레임워크를 연구

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2024년도 2차 석사과정생연구장려금지원사업)

자율주행 환경에서 가려진 객체 분할을 위한 센서 융합 및 누락 대응 기술
Sensor Fusion and Missing Modality Handling for Occluded Instance Segmentation in Autonomous Driving
(2024.09 ~ 2025.08)

• 자율주행 차량에서 선택적으로 제공되는 RGB, 라이다, 레이더 등의 센서 정보를 활용하여, 물리적 장애물로 인해 가려진 객체도 인식할 수 있는 프롬프트 기반 센서 융합 기술을 연구

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2024년도 2차 석사과정생연구장려금지원사업)

질문 맞춤형 오디오-비주얼 융합 프롬프트를 활용한 제로샷 질의응답 프레임워크
Zero-Shot Question-Answering Framework with Adaptive Audio-Visual Fusion Prompts
(2024.09 ~ 2025.08)

• 텍스트 질문에 맞춰 입력된 오디오-비주얼 모달리티 정보를 적절하게 융합하여 생성한 프롬프트를 활용함으로써 정확하고 범용적인 응답을 생성할 수 있는 대규모 언어 모델 기반 제로샷 오디오-비주얼 질의응답 모델 프레임워크를 개발

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2024년도 2차 석사과정생연구장려금지원사업)

추론 시간에 선택적 프롬프트를 통한 객체 검출 및 의미론적 분할 기술
RGB-X Object Detection & Semantic Segmentation with Prompts under the Missing Modality Condition During Test Time
(2024.07 ~ 2025.06)

• 추론 단계에서, RGB 이미지와 선택적으로 제공되는 정보들(깊이, 열화상)을 융합하여, 휴머노이드 및 보행 가능 로봇이 실내/외 환경에서 RGB만으로 구분하기 어려운 물체를 추가 정보를 통해 인식, 파지 및 회피 가능한 프롬프트 기반 기술을 연구

• Funded by National Research Foundation (한국연구재단 과학분야 기초연구사업-2024년도 석사과정생연구장려금지원사업)

인공지능 융합형 메타휴먼 플랫폼 연구실
Artificial Intelligence Convergence Meta-Human Platform Lab
(2022.06 ~ 2025.02)

• 다양한 메타버스 응용분야에 활용할 수 있는 가상 인간모델(메타휴먼) 생성의 기반기술을 연구하고 인간의 외형 뿐 아니라 물리적, 생리적, 심리적 특성들을 표현하고 외부 객체들과 인터랙션 할 수 있는 메타버스 플랫폼 기술을 연구

• Funded by National Research Foundation (한국연구재단 기초연구실 지원사업)

인공지능 반도체 융합연구센터 (link)
(2022.03 ~ 2024.08)

• 인공지능 알고리즘 및 시스템반도체 설계의 지식을 갖춘 전문 인력을 목표로 함

• Funded by National Research Foundation (시스템 반도체 융합전문인력 양성센터)

멀티모달리티 융합을 통한 RGB-D 객체 검출 및 분할 기술
RGB-D Object Detection and Segmentation based on Multimodal Fusion
(2023.03 ~ 2023.10)

• 로봇이 특정 물체를 자동으로 인식하고 조작하기 위해서 RGB 영상외에도 깊이 정보를 효율적으로 융합하는 객체 검출 및 분할 프레임워크 개발

• Funded by Samsung Electronics (삼성전자 생산기술연구소)

동적 질량중심을 가지며 변형 가능한 물체를 인간 수준으로 조작하기 위한 시-촉각 인식 기술
Visuo-Tactile Perception for Human-Like Manipulation of Deformable Objects with Dynamic Center of Mass
(2021.09 ~ 2023.08)

• 본 과제는 로봇이 인간 수준으로 물체를 조작하기 위한, “시-촉각 융합” 및 “시-촉각 인식을 통한 연성 변형 물체의 안정적 파지 및 매니퓰레이션 원천 기술 개발을 목표로 함

• Funded by Samsung Research Funding & Incubation Center for Future Technology (삼성미래기술 육성사업)

데이터 프라이버시를 보호가능한 도메인 적응 기반 영상 분류 및 분할
Image Classification and Segmentation based on Data Privacy-Preserving Domain Adaptation
(2021.06 ~ 2023.02)

• 학습 과정에서 소스 도메인의 데이터를 직접 사용하지 않고, 소스 도메인으로부터 기학습된 모델과 타겟 도메인 데이터간의 도메인 적응을 수행할 수 있는 기술을 확보

• Funded by National Research Foundation (한국연구재단 이공분야기초연구사업 - 기본연구)