Explain AI.Trust what follows.

최근 심층신경망과 같은 복잡한 AI 기술이 군사, 금융, 인사, 자율주행 등 미션 크리티컬한 분야에 널리 활용되고 있습니다. 장애나 오류가 발생하면 사용자와 비즈니스에 심각한 영향을 끼치게 되는 이러한 응용에서는 AI 기술을 안전하게 사용하는 것이 무엇보다 중요합니다. 이 강연에서는 안전하고 신뢰할 수 있는 AI 시스템을 구현하는 데 필수 요소인 설명가능 인공지능의 원리와 최근 동향을 살펴봅니다.

As complex artificial intelligence systems such as deep neural networks are used for mission-critical tasks including military, finance, human resources, and autonomous driving, securing their safe use is essential. This talk offers an overview of the principles and recent advances in explainable artificial intelligence.

딥러닝의 의사결정 과정을 개별 데이터 수준에서 투명하게 해석하는 지역적 설명(Local Explanation)의 핵심 원리를 다룹니다. 게임 이론을 접목한 피처 기여도 할당 및 효율적인 최신 추정 기법, 그래디언트 기반의 공간적 중요도 분석 등 대표적인 XAI 방법론을 살펴봅니다. 또한 도출된 설명의 신뢰성을 검증하는 평가 방법과 강건성을 개선하는 향후 연구 방향을 종합적으로 소개합니다.

This session covers the principles of local explanation for transparently interpreting deep-learning decisions at the individual-instance level. It explores game-theoretic feature attribution, efficient modern estimation techniques, gradient-based spatial importance analysis, evaluation methods for explanation reliability, and future research directions.

본 발표에서는 모델의 전반적인 동작과 학습된 표현을 이해하기 위한 전역적 설명 방법을 소개합니다. 부분 의존도 플롯(PDP), 누적 국소 효과(ALE), Network Dissection, TCAV와 프로토타입 기반 접근법을 통해 입력 특성의 영향과 학습 표현을 이해하는 방법을 살펴봅니다.

This session introduces global explanation methods for understanding a model's overall behavior and learned representations. It covers model-agnostic, concept-based, and prototype-based approaches, including PDP, ALE, Network Dissection, and TCAV, with intuitive examples and practical applications.

대규모 언어모델은 뛰어난 성능을 보이지만 내부에서 정보가 어떻게 표현되고 처리되는지는 충분히 이해되지 않고 있습니다. 본 발표에서는 내부 표현의 정보를 해독하고 정보의 처리 및 전달 과정을 추적하는 기계론적 해석가능성의 주요 방법론과 최근 연구 동향을 소개합니다. 기존 방법론의 한계와 해결 과제, 향후 연구 방향도 함께 살펴봅니다.

Despite the remarkable performance of LLMs, how information is represented and processed internally remains insufficiently understood. This talk introduces methods for decoding internal representations and tracing information processing, then discusses current limitations, open challenges, and future directions.

LLM 의사결정의 내부 메커니즘을 인과적으로 해석하고 설명하는 연구 동향을 소개합니다. 주요 인과적 해석 방법론과 최근 성과를 살펴보고 기존 접근법의 한계와 과제를 논의합니다. 나아가 인과적 관점에서 LLM의 내부 작동 원리를 더 깊게 이해하기 위한 향후 연구 방향을 제시합니다.

This talk surveys research on causally interpreting and explaining the internal mechanisms underlying LLM decision-making. It covers key causal interpretability methods, recent advances, limitations, open challenges, and future directions.

확산 모델의 내부 메커니즘을 이해하고 설명하기 위한 최신 연구 동향을 살펴봅니다. 노이즈 제거 과정 분석, 내부 표현 해석, 개입 기반 분석 및 제어 등 주요 접근법을 소개하고 산업적 활용 가능성과 향후 연구 방향을 논의합니다.

This talk presents recent trends in explainability for diffusion models, including denoising-process analysis, internal-representation interpretation, and intervention-based analysis and control. It also discusses industrial applications and future research directions.

제조 분야에서 멀티모달 대규모 언어모델을 활용하는 연구 동향과 산업 적용 사례를 소개합니다. 이미지, 센서 시계열, 텍스트 등 다양한 제조 데이터를 활용해 품질 검사, 이상 탐지 및 공정 의사결정을 지원하는 접근법과 데이터 부족 및 현장 환경 변화에 따른 과제를 살펴봅니다. 디지털 트윈 및 에이전트와의 연계를 통한 발전 방향도 제시합니다.

This talk presents research trends and industrial applications of multimodal LLMs in manufacturing. It reviews approaches using images, sensor time series, and text for quality inspection, anomaly detection, and process decisions, then discusses deployment challenges and integration with digital twins and agents.

산업 현장의 시계열 예측·제어 시스템을 구축하고 운영한 경험을 바탕으로 설명가능성 기법이 실제 의사결정에 미친 영향과 한계를 살펴봅니다. 현장이 요구하는 설명은 기여도 분석을 넘어 상황 해석과 조치 권고의 근거를 검증하는 것이지만, 희소한 조업 사건과 다양한 판단 기준, 데이터 밖의 맥락은 기존 기법만으로 다루기 어렵습니다. 지식과 도구를 활용하는 LLM 기반 에이전트로 관심이 이동하는 흐름과 '근거의 추적 가능성'으로 확장되는 설명의 의미를 논의합니다.

Drawing on experience operating industrial forecasting and control systems, this talk examines where explainability has helped real decisions and where it has fallen short. It introduces the shift toward LLM-based agents that use domain knowledge and tools, and discusses explanation as traceability of evidence.

기존 시계열 설명 기법의 상당수는 이미지와 표 형식 데이터를 위해 만들어져 시퀀스 데이터에서는 여러 가정이 깨집니다. 입력을 사람이 읽을 수 있다는 가정, 특성의 독립성, 특성을 깔끔하게 제거할 수 있다는 가정, 중요도가 개별 시점에 집중된다는 가정을 짚어봅니다. 시간 인식 기여도 분석, 분포 내 섭동, 주파수 영역 및 예시 기반 설명과 설명 신뢰성 평가 지표를 소개합니다.

Many time-series explanation methods originated with images and tabular data, where assumptions about readability, feature independence, clean removal, and pointwise importance often fail on sequences. This talk covers time-aware attribution, in-distribution perturbation, frequency-domain and example-based explanations, and trustworthiness metrics.

스마트폰, 로봇, 의료기기처럼 기기 안에서 직접 동작하는 온디바이스 AI가 빠르게 확산되고 있습니다. 이러한 모델은 대부분 경량화를 거쳐 배포되지만 설명은 주로 원본 모델을 기준으로 만들어집니다. 본 발표에서는 온디바이스 AI 모델의 경량화와 배포 과정을 살펴보고, 경량화 후 정확도가 같아도 설명이 유지되는지 질문합니다. 기기 위에서 설명을 제공할 때의 고려 사항과 향후 연구 방향도 논의합니다.

On-device AI models are compressed before deployment, yet explanations are usually produced on the original model. This talk asks whether explanations remain stable when compression preserves accuracy and discusses practical considerations for explanations on devices.

AI 에이전트가 복잡한 작업을 자율적으로 수행하고 여러 에이전트와 협력하면서 행동을 이해하고 통제하는 일이 어려워지고 있습니다. 기존 XAI가 모델의 예측 해석에 집중했다면 AI 에이전트에서는 명령 불이행과 다중 에이전트 상호작용의 새로운 취약성이 나타납니다. 추론 과정 모니터링의 한계를 살펴보고, 사후 설명을 넘어 처음부터 통제 가능하고 검증 가능한 에이전트를 설계하는 연구 방향을 소개합니다.

AI agents introduce challenges including instruction violations and vulnerabilities from multi-agent interactions. This talk examines the limits of chain-of-thought monitoring and explores research toward agent behavior that is controllable, interpretable, and verifiable by design.

TBD

TBD