1. 설명 가능한 인공지능의 최신 동향

Recent Trends in Explainable Artificial Intelligence

Professor Jaesik Choi (KAIST, INEEJI)

---

Abstract:

최근 심층신경망과 같은 복잡한 AI기술이 군사, 금융, 인사, 자율주행 등 미션 크리티컬한 분야에 널리 활용되고 있습니다. 장애나 오류가 발생하면 사용자와 비즈니스에 심각한 영향을 끼치게 되는 이러한 응용에서는 AI기술을 안전하게 사용하는 것이 무엇보다도 중요합니다. 이 강연에서는 안전하고 신뢰할 수 있는 AI시스템을 구현하는 데에 필수요소인 설명가능한 인공 지능의 원리와 최근 동향을 살펴봅니다.

As complex artificial intelligence (AI) systems such as deep neural networks is used for many mission critical task such as military, finance, human resources and autonomous driving, it is important to secure the safe use of such complex AI systems. In this talk, we will overview the principles and recent advances in explainable artificial intelligence.

---

Speaker Bio:

2019~현재 KAIST 김재철AI대학원 교수/(주)인이지 대표이사

2019~현재 KAIST 설명가능 인공지능연구센터 센터장

2013-2019 UNIST 전기전자컴퓨터공학부 교수

2013 미국 Lawrence-Berkeley 연구소 박사후연구원

2012 미국 일리노이 주립대학교 박사졸업

연구분야: 설명가능 인공지능, 시계열데이터 예측, 기계학습/딥러닝

2019~present Professor, KAIST Kim Jaechul Graduate School of AI

2019~present CEO, INEEJI Inc.

2013~2019, Professor, Dept. of Electrical and Computer Engineering, UNIST

2013 Post-doc Researcher, Lawrence Berkeley National Laboratory

2012 Ph.D. University of Illinois (Urbana-Champaign)

Research Topics: Explainable AI, Learning and Inference for Time Series Data(Large-scale), Deep Learning Applicatons

---

Slides Recording

2. 전역적 설명 방법 소개

Introduction to Global Explanation Methods

Jinsil Lee (SAIL, KAIST)

---

Abstract:

전역적 설명 방법은 머신러닝 및 딥러닝 모델이 산출하는 모든 예측 결과를 설명하는 방식입니다. 이 접근법은 모델의 전반적인 행동에 대한 통찰을 제공하여, 일반적인 메커니즘을 이해하거나 모델을 디버깅할 때 특히 유용합니다. 본 발표에서는 전역적 설명 방법을 고전적인 모델 불가지론적 방법(model-agnostic method), 프로토타입 기반 방법(prototype-based method), 그리고 개념 기반 방법(concept-based method)으로 구분하여 소개하고자 합니다.

Global explanation methods aim to interpret all prediction outcomes generated by machine learning and deep learning models. These approaches provide insights into the overall behavior of the model, making them especially useful for understanding general mechanisms or for debugging. In this presentation, we will introduce global explanation methods by categorizing them into classical model-agnostic methods, prototype-based methods, and concept-based methods.

---

Speaker Bio:

Jinsil Lee is an integrated M.S.-Ph.D. student at the Graduate School of AI, KAIST, advised by Professor Jaesik Choi. Her current research focuses on reinterpreting explainability from a functional perspective within the context of XAI standardization, and exploring methods to implement Trustworthy AI that ensures regulatory compliance and transparency.

이진실은 KAIST AI 대학원 석박통합과정 학생으로, 최재식 교수님의 지도를 받고 있습니다. 현재 연구는 XAI 표준화 관점으로 설명가능성을 기능적으로 재해석하고, 이를 통해 규제 준수와 투명성을 보장하는 Trustworthy AI를 구현하기 위한 방법을 탐구하는 데 집중하고 있습니다.

---

Slides Recording

3. 지역적 설명 방법 소개

Introduction to Local Explanation Methods

Artyom Tashyan (SAIL, KAIST)

---

Abstract:

지역적 설명 방법은 모델의 개별 예측이 어떤 근거로 나왔는지를 국소적인 관점에서 설명하는 기법입니다. 본 발표에서는 개별 입력 데이터의 각 특징이 해당 예측에 얼마나 기여하는지를 정량적으로 계산하는 방법을 중심으로, SHAP, LIME, LRP 등의 기법을 다룰 예정입니다. 구체적으로, SHAP·LIME과 같은 (1) 모델 불가지론적(model-agnostic) 방법과 LRP와 같은 (2) 딥러닝 모델 특화(model-specific) 방법을 대표 사례로 소개합니다.

Local explanation methods clarify on what basis a model makes each individual prediction. In this talk, we focus on techniques that quantify how much each feature of an input contributes to its prediction, with particular attention to SHAP, LIME, and LRP. Specifically, we will discuss SHAP and LIME as representative model-agnostic methods, and LRP as a representative model-specific method tailored to deep learning models.

---

Speaker Bio:

Artyom Tashyan은 KAIST AI 대학원 석박통합과정 학생으로, 최재식 교수님의 지도를 받고 있습니다. 현재 연구는 대규모 언어 모델의 인과 추론 능력을 분석하고, Shapley 값을 보다 효율적으로 계산하는 방법을 탐구하는 데 집중하고 있습니다.

Artyom Tashyan is an M.S.–Ph.D. integrated program student at the Graduate School of AI, KAIST, under the supervision of Prof. Jaesik Choi. His current research focuses on the causal inference capabilities of large language models and on developing more efficient methods for computing Shapley values.

---

Slides Recording

4. XAI의 평가지표

XAI Evaluation

Haksoo Lim (SAIL, KAIST)

---

Abstract:

거대 언어모델(LLM)은 최근 여러 분야에서 눈에 띄는 성능을 보이며 빠르게 확산되고 있습니다. 하지만 모델 구조의 복잡성과 고차원 표현으로 인해, 이들이 실제로 어떻게 정보를 처리하고 추론하는지 이해하는 일은 여전히 어려운 과제로 남아 있습니다. 언어모델의 내부 작동 원리를 이해하는 것은 모델의 한계와 잠재적 위험을 인지하고, 이를 안전하면서도 책임감 있게 활용하기 위한 필수 조건입니다. 본 발표에서는 언어모델 설명을 위한 대표적인 접근법들을 개관하고, 이러한 방법을 판별 언어모델(Discriminative Language Models)에 적용한 사례를 중심으로 논의합니다.

Recent advances in large language models (LLMs) have led to remarkable performance gains and rapid adoption across a wide range of applications. Despite this success, their intricate architectures and high-dimensional internal representations make it difficult to clearly understand how these models process information and make decisions. Gaining insight into the inner mechanisms of language models is essential for recognizing their limitations and ensuring their safe and responsible use. In this talk, I will survey major approaches to explaining language models and illustrate how these techniques can be applied to the explanation of discriminative language models through concrete examples.

---

Speaker Bio:

임학수는 KAIST 인공지능학과 박사과정 2년차인 최재식 교수님의 지도 아래 연구를 수행하고 있습니다. 그의 연구 관심사는 생성 모델(특히 score-based diffusion model), 시계열 모델링 및 예측, 그리고 기계학습·동역학계·과학계산의 접점에 위치한 뉴럴미분방정식 입니다.

Haksoo Lim is a second-year PhD student in Artificial Intelligence at KAIST, advised by Prof. Jaesik Choi. His research focuses on generative models (especially score-based diffusion models), time-series modeling and forecasting, and neural differential equations at the interface of machine learning, dynamical systems, and scientific computing.

---

Slides Recording

5. 대형 언어모델 해석 기법의 최신 동향

Recent Trends in Model Interpretability for LLMs

Nari Kim (Research Professor, KAIST XAI Center)

---

Abstract:

기계적 해석 가능성 (Mechanistic Interpretability, MI)은 모델 내부의 특정 신경 회로(neural circuits)를 식별하여, 모델이 작동하는 방식을 인과적으로 규명하는 것을 목표로 하는 연구 패러다임입니다. 본 강연에서는 MI의 주요 접근법인 SAE, Transcoder, Model Diffing 세 가지를 소개합니다. 또한, 기계적 해석 가능성이 가진 기술적 한계와 향후 연구과제에 대해서도 살펴볼 것입니다.

Mechanistic Interpretability(MI) is a research paradigm aimed at achieving a causal, component-level understanding of how neural networks operate. This lecture will introduce three major MI methodologies: SAE (Sparse Autoencoders), Transcoder, and Model Diffing. We will conclude by exploring technical limitations and future research challenges of Mechanistic Interpretability.

---

Speaker Bio:

통계적 방법을 활용한 자연어 처리 모호성 해결에 대한 연구로 서울대학교 컴퓨터공학과에서 박사학위를 받았습니다. 기업에서 개발자와 사업 담당으로 커리어를 쌓으며 기계번역, 소셜 미디어 분석, 텍스트마이닝 등 다양한 제품의 개발과 사업 리더로 일했습니다. 2022년부터 KAIST에서 연구교수로 일하며 여러 연구자들과 함께 설명 가능하고 신뢰할 수 있는 AI 시스템 연구를 하고 있습니다.

She received her Ph.D. in Computer Engineering at Seoul National University with a thesis on ambiguity resolution in natural language processing using corpus-based statistical methods. She began her career as a developer and later became a business director, where she contributed to a range of products, including machine translation, text mining, and social media analytics. Since 2022, she has been a research professor at KAIST, leading a team of researchers to develop explainable and trustworthy AI systems.

---

Slides Recording

6. 대형 언어 모델의 생물학에 대하여

On the Biology of a Large Language Model

Artyom Stitsyuk (SAIL, KAIST)

---

Abstract:

오늘날 대규모 언어모델(LLM)은 인상적인 역량을 보여주고 있다. 그러나 이러한 능력의 기반이 되는 과정과 메커니즘은 여전히 대부분 명확하지 않다. LLM 시스템이 더욱 지능적이고 유능해지며 다양한 응용 분야에서 사용됨에 따라, 그 블랙박스적 특성은 점점 더 만족스럽지 못한 것으로 여겨지고 있다. 우리의 목표는 이러한 모델이 내부적으로 어떻게 작동하는지를 리버스 엔지니어링하여 더 깊이 이해하고 설명하며, 의도한 목적에 얼마나 잘 부합하는지를 평가할 수 있도록 하는 것이다.

Nowadays, Large Language Models (LLMs) demonstrate impressive capabilities. However, the underlying processes and mechanisms of those abilities remain largely unclear. As LLM systems become more intelligent, capable, and are used in an expanding range of applications, their black-box nature is becoming increasingly unsatisfactory. Our goal is to reverse engineer how these models function internally so that we can understand and explain them more deeply and evaluate how well they fit their intended purposes.

---

Speaker Bio:

Artyom Stitsyuk은 KAIST 인공지능대학원에서 최재식 교수님의 지도 아래 박사 과정을 밟고 있습니다. 그의 현재 연구는 시계열 데이터와 대규모 언어 모델(LLM)의 설명 가능성에 초점을 두고 있습니다.

Artyom Stitsyuk is a Ph.D. candidate at the Graduate School of AI, KAIST, under the supervision of Prof. Jaesik Choi. His current research focuses on time series and explainability of Large Language Models (LLMs).

---

Slides Recording

7. LLM 점검(분석) 도구의 발전 흐름: LogitLens, SAE, CrossCoder, CircuitTracer

Evolution of LLM inspection tools: LogitLens, SAE, CrossCoder, CircuitTracer

Enver Menadjiev (SAIL, KAIST)

---

Abstract:

대규모 언어 모델(LLM)의 활용이 고위험 산업 전반으로 확장됨에 따라, 모델의 의사결정을 이해하는 것이 더욱 중요해지고 있습니다. 이에 따라 최근 연구들은 모델의 사고 패턴을 파악하는 데 노력을 기울이고 있습니다. 이 발표에서는 LLM에 대한 현재의 이해에 이르게 된 역사적 흐름을 살펴보면서, 모델의 내부 메커니즘을 이해하는 다양한 방법을 깊이 있게 탐구합니다.

While applications of LLMs start spanning across the high-risk industries, the understanding of models' decisions becomes crucial. Therefore, recent research directed its efforts towards determining models' thinking patterns. In this speech we dive deep into the methods of understanding models internal mechanisms, while observing history that led to the current state of understanding LLMs.

---

Speaker Bio:

Enver Menadjiev는 KAIST 인공지능대학원 통계적 AI 연구실에서 최재식 교수님의 지도 아래 박사 과정에 재학 중입니다. 현재 그의 연구는 시계열에서의 적합 예측(Conformal Prediction)과 다양한 분야에서의 설명 가능성(Explainability)에 중점을 두고 있습니다.

Enver Menadjiev is a Ph.D. candidate at the Statistical AI Lab at Graduate School of AI at KAIST under supervision of Prof. Jaesik Choi. His current research efforts are directed towards Conformal Prediction in Time Series, and explainability at various domains.

---

Slides Recording

8. Transformer 모델의 의사 결정에 대한 내부 근거 탐색

Causal Path Tracing in Transformers

Won Jo (SAIL, KAIST)

---

Abstract:

이 발표에서는 transformer 모델의 의사결정이 내부 구조를 통해 어떻게 인과적으로 형성되는지를 탐색하는 기법을 소개합니다. 이를 위해 무엇이 인과성을 의미하는지, 그리고 모델 내부의 모든 경로를 어떻게 효율적으로 탐색할 수 있는지를 중심적으로 다룹니다. 마지막으로, 이렇게 찾아낸 내부 인과 경로를 기반으로 관찰되는 다양한 현상을 함께 제시합니다.

In this talk, a method is introduced to examine how a transformer model decision is causally formed through its internal structure. The focus is placed on what constitutes causality in this framework and how all internal paths of the model can be efficiently traced. Finally, various phenomena revealed through the identified internal causal paths are presented.

---

Speaker Bio:

조원은 KAIST 김재철AI대학원에서 박사 과정을 밟고 있으며, SAI 연구실에서 최재식 교수님의 지도를 받고 있습니다. 현재 그의 연구는 모델 의사결정 과정 내 인과성을 분석함으로써 모델 내부에서 근거를 찾는 것에 중점을 두고 있습니다.

Won Jo is a Ph.D. student at the Statistical Artificial Intelligence Lab (SAILab), led by Prof. Jaesik Choi, at KAIST. His current research focuses on analyzing causality within the model's decision-making process to identify internal reason.

---

Slides Recording

10. AI 안전을 향한 네이버의 여정: 기술과 정책의 지속적 혁신

NAVER's Journey to AI Safety: Continuous Innovation in Technology and Policy

Sangwoo Heo (NAVER AI RM Center)

---

Abstract:

네이버는 기술과 정책 두 축으로 AI의 안전성을 구현하기 위해 노력해왔습니다.

네이버는 AI 기본법 등장 이전에도 서울대 AI 정책 이니셔티브(SAPI)와 함께 선제적으로 인공지능 윤리 준칙을 발표하고, 이를 다양한 AI 서비스 개발 과정에 녹여내고자 사내 AI 윤리 자문 프로세스를 운영해왔습니다. 그 연장선상에서 세계 세 번째 상용 LLM인 HyperCLOVA 기반의 최신 모델 HyperCLOVA X를 공개했습니다.

HyperCLOVA X는 데이터 수집 단계부터 사후학습 단계를 거치며 안전하면서도 유용한 응답을 제공하는 에이전트로 개발되고 있습니다. 이 과정에서 구축된 안전하고 신뢰할 수 있는 언어 모델 개발/평가를 위한 데이터셋 일부는 오픈소스로 공개하며 안전한 한국어 기반 AI 생태계 조성에 기여해왔습니다. 또한 HyperCLOVA X 모델은 사용자 피드백과 리스크 모니터링을 통해 지속적으로 안전성을 개선해왔습니다. 네이버는 글로벌 AI 안전성 논의 거버넌스에도 지속적으로 참여해왔습니다. 2023년부터 연이어 개최된 UK AI Safety Summit, AI Seoul Summit, Paris AI Action Summit 세 차례의 정상회의에 참여했고, 서울 정상회의를 전후하여 자사의 AI 안전 관리 체계 AI Safety Framework(Beta)를 공개하기도 했습니다. 네이버는 또한 한국에서 AI 기본법이 제정되고, EU 등 다른 나라들의 안전 관리 규제들이 만들어지는 동향을 모니터링하며 안전 관리 체계를 고도화해나가고 있습니다. 뿐만 아니라 추론 모델의 등장과 Agentic AI 시스템의 확산 등 기술 고도화에 따른 새로운 위험 요인들에 대한 연구도 이어가고 있습니다. 독일 튀빙겐대 등 세계 유수 연구자들과 함께 보다 고도화된 시스템 환경에서 더 정교한 AI 공격 방법론, 안전 취약점을 연구하며 국제 학회에 결과물을 공유하고 있습니다. 이러한 연구 성과들도 정책 운영 과정에 반영하며 보다 정교하고 다층적인 AI 안전 관리 체계를 만들어가고자 합니다.

NAVER has been striving to ensure the safety of AI through the twin pillars of technology and policy.

Even before the advent of the AI Framework Act in Korea, NAVER proactively announced its Artificial Intelligence Ethics Principles in collaboration with the Seoul National University AI Policy Initiative (SAPI). To integrate this charter into the development process of various AI services, NAVER has been operating an internal AI Ethics Advisory process. As an extension of these efforts, NAVER unveiled its latest model, HyperCLOVA X, based on HyperCLOVA, the world's third commercial LLM.

HyperCLOVA X is being developed as an agent that provides safe and useful responses through stages ranging from data collection to post-training. During this process, NAVER has contributed to the creation of a safe Korean-language based AI ecosystem by open-sourcing a portion of the dataset constructed for the development and evaluation of reliable language models. Furthermore, the safety of the HyperCLOVA X model is continuously improved through user feedback and risk monitoring.

NAVER has also consistently participated in global AI safety governance discussions. It has taken part in three consecutive summits: the UK AI Safety Summit, the AI Seoul Summit, and the Paris AI Action Summit since 2023. Around the time of the Seoul Summit, NAVER released its own AI safety management system, the AI Safety Framework (Beta). NAVER continues to advance its safety management system by monitoring trends, such as the enactment of the AI Framework Act in Korea and the establishment of safety management regulations in other countries like the EU.

Moreover, NAVER continues to research new risk factors arising from technological advancements, such as the emergence of inference models and the proliferation of Agentic AI systems. In collaboration with leading global researchers, including those from the University of Tübingen in Germany, NAVER is studying more sophisticated AI attack methodologies and safety vulnerabilities in highly advanced system environments, sharing the results at international conferences. NAVER aims to incorporate these research findings into its policy operations to create a more sophisticated and multi-layered AI safety management system.

---

Speaker Bio:

PL, NAVER AI Risk Management Center

PL, NAVER Future AI Center

M.S., Graduate School of Data Science, Seoul National University