盗墓笔记
OPPO K10x 将于9月16日正式发布_我的网站
A | 엔비디아 Nemotron-H·자이프라 Zamba2서 인과 결함 발견, 순전파 2회로 결함 층 특정해 192건 전부 탐지발견한 진단 기술을 자사 AX-RAY로 제품화, 정부 보안 특화 파운데이션 모델 사업 핵심 검증 기술로 연결 비드래프트. 사진=비드래프트논문 한 편에서 시작된 연구 성과가 제품을 거쳐 국가 사업으로 이어지는 구조가 만들어졌다. AI 딥테크 기업 비드래프트(대표 김민식)가 공개 AI 모델의 구조적 결함을 찾아낸 자체 연구를 AI 안전성 진단 시스템 'AX-RAY'로 발전시키고, 이를 정부의 '사이버 보안 특화 인공지능 파운데이션 모델 개발' 사업 핵심 검증 기술로 제시하는 전략을 펴고 있다.출발점은 비드래프트가 지난 24일 arXiv에 공개한 논문 'The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models'다. 연구진은 자기회귀 AI 모델이 원칙적으로 볼 수 없는 미래 토큰의 정보를 앞선 계산에 사용하는 '인과 누설'을 직접 판정하는 새로운 진단 방법을 제시했고, 이를 엔비디아의 Nemotron-H-8B와 자이프라의 Zamba2-1.2B에 적용해 두 모델의 PyTorch 실행 경로에서 실제 인과 누설을 확인했다.기존 검사 방식은 어텐션의 causal mask 정상 여부 확인에 주로 의존해왔지만, 최근 모델이 상태공간모델(SSM)·순환연산·합성곱·청크 스캔 등을 결합한 하이브리드 구조로 발전하면서 마스크가 정상이어도 다른 경로로 미래 정보가 유입될 가능성이 생겼다는 게 연구진의 지적이다. 새 방법은 마지막 위치만 다른 두 입력을 각각 한 번씩 순전파해 각 층의 앞부분 내부 표현 변화를 비교하는 방식으로, 학습이나 그래디언트 계산 없이 순전파 두 번만으로 인과성이 깨지는 층을 특정할 수 있다. 인위적으로 주입한 인과 결함 192건 실험에서 기존 마스크 점검은 이를 놓쳤지만, 새 방법은 192건 전부를 정확한 층 단위로 탐지해냈다. 비드래프트. 사진=비드래프트연구는 여기서 멈추지 않았다. 비드래프트는 오픈소스 라이브러리 transformers 5.7.0의 청크 스캔 구현을 코드 수준에서 비교해 입력·출력 청크 축 처리 방식의 차이를 먼저 짚어냈고, 실제 모델 검사에서 Zamba2-1.2B는 청크 크기 256부터, Nemotron-H-8B는 128부터 누설이 시작됨을 확인했다. Bamba-9B, Falcon-H1, Granite-4.0-H, Mamba2, RecurrentGemma 등에서는 같은 문제가 나타나지 않아 코드 분석 예측과 실제 결과가 정확히 맞아떨어졌다.이 발견이 중요한 것은 인과 누설이 성능 지표 자체를 왜곡할 수 있기 때문이다. 미래 정보가 현재 예측에 유입되면 다음 토큰 예측이 쉬워져 학습 손실과 혼란도(PPL)가 좋아 보일 수 있다는 게 회사 설명이다. 벤치마크 점수만으로는 인과 결함 여부를 뒤집을 수 없다는 것이 비드래프트의 입장이다.이렇게 확보한 진단 기술은 AX-RAY로 이어졌다. AX-RAY는 벤치마크 점수 확인을 넘어 실제 실행 코드와 모델 구조가 의도대로 작동하는지, 구조적으로 위험한 경로나 비정상적인 인과 의존성이 있는지를 계측하는 시스템이다. 외부 파운데이션 모델 도입 시 가중치뿐 아니라 구현 코드와 실행 환경까지 함께 사용된다는 점에서 이 같은 검증이 필요하다는 게 비드래프트의 판단이며, 관련 기술은 논문 공개 전 국내 특허 출원과 심사 청구를 마쳤다.비드래프트는 이를 발판으로 현재 정부 공모 사업인 '사이버 보안 특화 인공지능 파운데이션 모델 개발' 컨소시엄에 참여해 AX-RAY를 핵심 안전성 검증 기술로 제시하고 있다. 공격 탐지 능력이 뛰어난 모델을 만드는 것 못지않게, 모델 자체에 구조적 결함이나 예상하지 못한 위험경로가 없는지 검증하는 과정이 보안 특화 AI에서 중요하다는 것이 회사 측 설명이다. 단순한 AI 모델 개발사에 머물지 않고, 타 모델의 구현 정확성과 안전성을 독립적으로 검사하는 AI 검증 기술을 확보하는 것이 전략의 핵심이라는 얘기다.김민식 대표는 보안 파운데이션 모델이 성능 좋은 모델을 만드는 데서 끝나선 안 되며, 모델이 실행환경에서 설계된 인과구조를 지키는지, 구조적으로 숨겨진 결함이 없는지 검증할 수 있어야 한다고 밝혔다. “이번 논문은 AX-RAY가 단순한 정책 체크리스트나 정성적 레드팀 도구가 아니라 실제 코드와 실행 결과를 통해 AI의 구조적 안전성을 계측할 수 있다는 기술적 근거를 제시한 것”이라는 게 그의 설명이다.한편 비드래프트는 전 국민 대상 AI 서비스 구축 사업 '모두의 AI'에서도 이스트소프트 컨소시엄에 참여해 AI 모델 성능 최적화와 경량화를 담당하고 있으며, 모델 개발·최적화와 AX-RAY 기반 안전성 검증을 함께 확보해 성능·실행 효율·구조적 안전성을 하나의 기술 스택으로 구축한다는 계획이다.。
B |
Current article:http://uvg0k.senbatuqiuzhuanlanrilao.sbs/list_i66gqo8/w9z68w.html
Published on:00:00:00
