LLM이 말해서는 안 되는 것: 7채널 EEG 에이전트를 위한 경계 인식 컨텍스트 기반

로컬에서 검증된 수치 엔진과 버전화된 컨텍스트를 분리하면 LLM이 장비 한계나 구현 유무를 과도하게 일반화하는 위험을 줄일 수 있다. 이 접근은 저채널 EEG처럼 관측 범위가 제한된 센서에 대해 LLM의 수용·거부 결정을 정교하게 조정하는 실용적 메커니즘을 제시한다.

문제 출발점은 ‘모든 LLM이 장비와 소프트웨어의 구체적 제약을 자동으로 아는 것은 아니다’라는 사실이다. LLM은 광범위한 EEG 지식을 내포할 수 있으나 특정 센서 배열, 구현된 워크플로, 결과 필드의 의미, 그리고 과학적 한계는 별도 정보가 없으면 판단할 수 없다. 저채널 EEG는 공간 표본화가 희박해 관측 가능한 신호와 해석 가능한 결론을 혼동하기 쉬우며, 이로 인해 모델이 물리적으로 불가능하거나 구현되지 않은 분석을 ‘그럴듯하게’ 생성할 위험이 커진다.

이 논문이 취한 해결 원리는 계산 경계와 언어 경계를 분리하는 것이다. 구체적으로, 로컬에서 결정적 수치 엔진이 모든 신호 전처리·품질 제어·스펙트럼 워크플로를 실행해 기계 판독 가능한 산출물을 생성한다. 언어 레이어는 이 결과의 축약된 허용 목록 페이로드와 버전된 컨텍스트 팩만을 수신해 해석과 계획을 수행하므로 LLM이 원시 데이터를 사용해 임의로 필터나 임계치를 변경할 수 없다.

이 접근은 세 가지 변화를 가져온다. 첫째, 수치적 정합성은 로컬 엔진이 보장하므로 언어 모델의 불확실한 생성이 수치 결과를 변경하지 못한다. 둘째, 하드웨어·구현·결과·과학 경계 정보를 명시적으로 제공하면 LLM의 수용·조건부 수용·거부 결정이 더 정확해진다. 셋째, 컨텍스트를 무차별로 늘리는 대신 관련 문서만 선택적으로 검색해 주입하면 과도한 거부나 오도된 채택을 줄일 수 있다.

전체 접근은 로컬 결정적 계산과 버전된 컨텍스트 기반의 언어 해석으로 구성된다. 입력된 7채널 EEG는 엄격한 I/O층으로 들어가 로컬 엔진이 검토된 Python 워크플로를 실행해 results.json, report.md, figure 파일과 정제 데이터 일부를 생성한다. 그 다음 허용목록 규칙에 따라 워크플로별로 필요한 필드만 골라 compact interpretation summary를 만들고 raw_eeg_included=false를 명시해 외부 호출로 원시 샘플과 고밀도 배열을 제외한다.

핵심 메커니즘은 컨텍스트 팩의 구조와 감사성이다. 컨텍스트 팩은 하드웨어 프로필, 검토된 워크플로 설명, 결과 필드 가이드, 구현 매핑, 과학적 한계, 참조 사례, 시스템 정책을 포함하며 각 호출에 사용된 파일 목록과 SHA256 해시를 기록한다. 벤치마크는 네 가지 컨텍스트 조합(Generic, Hardware, Hardware+implementation, Full)과 두 모델 별로 동일한 사례를 생성해 결정 정확도, 필수 사실 회수율, 과도한 거부율, 허용되지 않은 수용율 등을 측정한다.

실험적 검증은 세 영역에서 수행됐다. 첫째, 재현성 검증으로 동일 환경에서 다중 반복 실행 시 결과 해시 일관성을 확인했다. 둘째, 프라이버시·요청 경계 검증으로 로컬 캡처 엔드포인트에서 interpretation 요청이 원시 샘플과 소스 경로를 포함하지 않는지 점검했다. 셋째, 아티팩트 주입과 라우팅·장애 주입 실험으로 품질 임계치 반응과 LLM 실패 시 로컬 아티팩트 보존 능력을 평가했다.

결과의 주요 수치적 발견은 경계 인식 정확도와 안전 응답 비율의 유의한 개선이다. 네 가지 컨텍스트 조건의 결합 결과, pooled exact decision accuracy는 Generic 58.3%에서 Full context 79.2%로 상승했고 required-fact recall은 48.7%에서 80.8%로 증가했다. 또한 완전 정답·사실완비·거짓주장 없음의 엄격한 안전 응답 비율은 26.4%에서 66.7%로 개선됐다.

시스템 수준 결과로는 12개 기록을 10회 반복한 결정적 재현성 테스트에서 구조화 페이로드 해시가 동일하게 유지되었고 엔드투엔드 3회 반복에서도 결과·리포트·도면 해시가 일치했다. 요청 캡처에서는 원시 EEG 값과 소스 경로가 요청에 포함되지 않았고 interpretation 요청 바이트 수는 원시 파일 대비 훨씬 작았다. 장애 주입(HTTP 400, malformed output, connection refused) 실험에서 로컬 결과 파일과 로그는 보존되었다.

아티팩트 주입 실험에서는 50Hz·30Hz 정현성 간섭이 5 μV에서는 검출되지 않았고 10 μV 이상에서 모든 반복이 검출되어 해당 구간이 완전 차단되었다. 플랫라인(dropout) 주입은 현재 워크플로의 한계로 인해 검출되지 않았고 이는 품질 워크플로에 명시적 flatline 검출기가 필요함을 시사했다.

전체 아키텍처는 엄격한 I/O층, 로컬 결정적 과학 코어, 허용목록 기반 페이로드 생성, 버전된 컨텍스트 팩, 그리고 선택적 LLM 해석기로 구성된다. I/O와 하드웨어 프로필은 7채널(순서 CP5,CP6,PO3,PO4,O1,Oz,O2)과 250Hz 샘플링을 전제로 하며 품질 임계치는 49–51Hz 선형 잡음, 20–40Hz 고주파 전력, 절대 진폭 100 μV, 1초 세그먼트당 임계치 횡단 샘플 2개 초과, 채널 분리 비율 0.4 초과, 이웃 상관 최소 0.15 등으로 구성된다.

Visual Cognitive Load 워크플로는 4초 창, 1초 스텝으로 나누어 Welch PSD를 계산해 각 창에 대해 posterior alpha(log10 power), alpha 피크 주파수, 우-좌 정규화 비대칭 A를 산출한다. 각 특성 zα, zf, z|A|을 median/MAD로 표준화하고 −zα에 0.65, zf에 0.15, z|A|에 0.20을 곱해 클리핑한 합성 점수 q를 계산한 뒤 기록 내 분위수로 레이블을 생성한다. 이 파이프라인은 클리핑 범위와 가중치, 유효 창 기준(창의 80% 이상 샘플 유효) 등 구현 세부를 포함해 버전 관리된다.

벤치마크 설계는 36개 사례를 네 컨텍스트 조건과 두 모델로 교차해 총 288 출력을 수집하고 exact four-way decision, constraint-source F1, required-fact recall, unsupported acceptance, feasible rejection, strict safe-response 등 복수의 지표로 평가했다. 통계적 비교에는 Wilson 구간과 McNemar 검정을 사용했다.

벤치마크의 골드 레이블과 질문지는 NeuraDock 코드와 문서에서 파생되었으며 외부 독립 검증자가 작성한 것이 아니다. 실험은 두 개의 provider 모델 별칭과 세팅된 하나의 시드로 실행됐고, 각 사례당 한 번의 생성만 수집되어 모델 샘플링 변이를 충분히 반영하지 않는다. 재현성 검증은 단일 실행 환경에서 수행되어 운영체제·Python 버전·수치 라이브러리 차이를 포함한 교차 플랫폼 재현성은 확보되지 않았다. 품질 실험은 합성 교란을 사용했기 때문에 자연 기록에서의 민감도·특이도 추정치로 일반화할 수 없다.