Compaction Sweep Monitor

2.1 CPU zero-copy와 GPU recompaction은 다른 비용

원격 CPU는 COMPACT_ZEROCOPY env로 분기하지 않는다. gpu_model_runner.py:5255의 _selection_block_ids()가 whole-block 정합을 확인하면 source ID를 자동으로 반환한다. pool 기본값도 :4899–4900에서 block 모드이면 K=N이다. 반면 GPU의 gpu_recompact.py:45–51는 resident KV를 여전히 옮긴다.

# CPU, 현재 :5267–5270
if _zc_src is not None:
    output.compaction_used_block_ids[req_id] = list(_first)
    output.compaction_src_block_ids[req_id] = _zc_src

# GPU, 현재 :557–569 — 원격 snapshot은 layer별 row를 받지 않음
_reload_src_ids = src_to_dst_tensor[:, 0].to(device)
famxr(..., _reload_src_ids, _reload_dst_ids, ...)

CPU source-only와 GPU byte movement 제거를 서로 다른 metric으로 기록한다. CPU gather=0, CPU compaction-dest allocation=0이어도 H2D reload, AMX unpack/scatter, GPU resident recompaction, metadata 비용은 남을 수 있다.

2.2 “clear-legacy면 된다”의 반례

현재 SingleTypeKVCacheManager.req_to_selected_blocks는 request당 목록 하나다 (single_type_kv_cache_manager.py:80,279–295). layer0이 slot [0,2], layer1이 [1,2]를 원하면:

따라서 공통 table fast path는 모든 active layer의 ordered keep-slot list가 같을 때만 허용한다. 최종형은 layer별 attention indirection과 group별 allocation owner를 분리한다. 합집합 경로를 쓸 경우 “정확히 같은 selected attention”으로 표기하지 않는다.

2.3 정합 비교 대상

token selector와 block selector는 선택 정책이 다르므로 GPU KV byte equality가 합격선이 아니다. 동일한 block 선택 결과를 고정한 뒤 copy/reload와 source-only/reload, byte-move retention과 table-remap retention을 비교한다.

target_top1 일치만으로 target distribution이 같다고 할 수도 없다. 동일 prefix를 teacher-forcing하여 logits/logprobs 오차·확률 질량을 비교한다. 미리 정한 dtype별 허용오차와 누락 구간을 기록한다. j>0도 두 비교 경로가 동일 prefix를 쓴 위치라면 비교 가능하다.

아래는 제안 API다. 이름이 현재 코드에 이미 구현돼 있다는 뜻은 아니다.

@dataclass(frozen=True)
class BlockSelection:
    request_epoch: int
    selection_revision: int
    block_size: int
    logical_blocks_by_layer: tuple  # 원래 sequence block 좌표
    ranked_tail_by_layer: tuple     # score 순서; ID 오름차순 아님
    group_by_layer: tuple

@dataclass(frozen=True)
class BlockDiffPlan:
    upload_logical_blocks_by_layer: tuple
    new_blocks_per_layer: tuple
    common_new_slots: int           # 공통 table 호환 단계에서 사용
    pad_blocks_per_layer: tuple
    truncated_blocks_per_layer: tuple

@dataclass
class Residency:
    request_epoch: int
    pool_generation: int
    map_revision: int
    logical_by_slot_by_layer: list
    physical_by_slot_by_layer: list
    valid_blocks_by_layer: list
    pending_upload: object
    pending_retain: object

단위와 ID 공간을 혼용하지 않는다.

COMPACT_METHOD는 시작 시 한 번 resolve하고 CPU와 GPU에서 일치시킨다. initialize capability에는 protocol version, selection unit, block size/dtype, model+layer/group layout hash, source kinds, keep-map version, process epoch를 포함한다. 원격 root InitializeRequest:77–86는 현재 GPU block count와 batch limit만 담는다.

CPU [K,N) pool이 비어 있는데 source-only를 GPU가 지원하지 않으면 시작 실패시킨다. 그 상태에서 token-copy fallback을 고르는 설계는 실제로 할당할 목적지가 없다. 이미 검증된 copy 경로와 pool이 함께 있을 때만 명시적 fallback이 가능하다.

정상 verify와 /compaction_upload resume 모두 같은 UploadPlan을 전달한다. 각 row에 decoder layer ID·group ID·source IDs·destination IDs·valid count가 있어야 한다. SW row를 빈 배열로 넣고 무조건 직사각형 torch.tensor(rows)로 만들지 않는다. active full-attention layer만 pack하고 row→layer map을 전송한다. H2D용 pinned buffer는 completion event까지 재사용하지 않는다. AMX 외 backend도 동일 row 계약을 구현하거나 capability에서 미지원으로 거부한다.

4.1 Planner와 selector

1. select_block_level_no_stack()는 :4075의 blocks를 반환하고 token 확장을 제거한다.
2. plan_block_native()는 want 순서에서 held를 빼고 ranked tail로 부족분을 채운다.
3. old contract와 같게 최종 upload 순서를 ID 오름차순으로 고정한다.
4. padding은 want/held와 중복하지 않는 실제 존재하는 유효 KV만 사용한다.
5. 한 layer의 후보가 모자라 원하는 delta를 잘라내면 full plan으로 돌린다.
6. block score 동점은 (-score, logical_block_id) 순서로 결정하고 NaN/Inf를 거부한다.
7. 아직 확정되지 않은 partial/recent/draft tail은 selected pool과 분리한다.

_token_scores_no_stack():3858는 현재 whole-block 범위로 자른다.

1. sink+recent가 budget을 초과하면 effective budget을 기록하거나 명시적으로 실패한다.

def validate_whole_blocks(token_ids, B):
    require(B > 0 and len(token_ids) % B == 0)
    rows = as_int64(token_ids).reshape(-1, B)
    require(all(rows[:, 0] >= 0))
    require(all(rows[:, 0] % B == 0))
    require(array_equal(rows, rows[:, :1] + arange(B)))
    blocks = rows[:, 0] // B
    require(unique_count(blocks) == len(blocks))
    return blocks

# rank-tail[-1]은 최댓값이 아니다. HOLE은 membership 이전에 제외한다.
max_id = max(max_or_zero(want), max_or_zero(tail), max_or_zero(valid_held))
require(all_ids_nonnegative_and_within_sequence)

현재 diff_plan.py:197–200는 tail 마지막 값을 최댓값으로 사용한다. want=[2], tail=[127,4,3], held=[1]이면 3을 넘기지만 실제 최대는 127이다. C++ compact_amx_kernel.cpp:138–153는 이 크기로 scratch를 잡고 b[v >> 3]를 읽으므로 작은 scratch에서는 범위 밖 접근이 가능하다. 이는 코드·정수 계산으로 확인한 반례이며 native C++를 실행해서 충돌시킨 결과는 아니다.

4.2 Upload commit과 0-delta

현재 gpu_model_runner.py:5225–5231은 n_new=0이면 selection 기록 후 바로 return하여 finalize_diff_upload()와 keep-map 갱신을 건너뛴다. “전송 0”도 최신 selection/retention 상태를 갱신해야 한다.

SELECT revision r → PLAN
  bytes > 0: stage(g+1) → allocate + source lease → transfer
             → all-rank completion → commit residency(g+1) → ACK
  bytes = 0: residency(g) 유지 → publish keep revision r → metadata ACK

pending 요청은 (request_epoch, operation_id, pool_generation, map_revision)으로 식별한다. 반복 ACK는 no-op, 오래된 ACK는 무시, 미래/충돌 ACK는 오류로 처리한다. 같은 HTTP 요청 재시도가 다른 upload나 RNG 소비를 새로 만들지 않도록 결과를 재사용한다. upload-only resume에서도 동일 장부 stage/ACK를 사용한다. request identity는 전달받은 opaque ID 전체와 epoch를 쓴다. 현재 index_map.py:72–74의 하이픈 두 구간 추출에 새 프로토콜을 의존시키지 않는다.

4.3 Clear-legacy fast path와 최종형

공통 table 호환 단계에서는 group별 ordered keep-slot list가 모든 layer에서 같은지 검사한다. 같으면 prefix 개수만 줄이는 것이 아니라 실제 keep slot으로 table을 재작성한다. 다르면 현재 byte-move 경로를 유지한다. COMPACT_METHOD=block이라고 검사를 생략하지 않는다.

def plan_retain_group(residency, keep_by_layer, active_layers):
    rows = [keep_by_layer[L] for L in active_layers]
    validate_epoch_generation_bounds(rows, residency)
    if all(array_equal(row, rows[0]) for row in rows):
        slots = rows[0]  # stable resident order, whole blocks only
        return SharedTableRemap(
            new_table=[residency.shared_table[s] for s in slots])
    if residency.supports_layer_tables:
        return LayerTableRemap(
            tables={L: [residency.physical_by_slot_by_layer[L][s]
                        for s in keep_by_layer[L]]
                    for L in active_layers})
    return ExistingByteMovePlan(rows)

최종 layer별 table 단계의 변경 범위:

기존 GPU allocation 하나에 layer별 KV가 함께 매달려 있으므로 layer0이 놓은 physical block을 layer1이 아직 읽으면 free할 수 없다. group 내 모든 layer·regular/prefix 공유 참조·진행 중 transfer 참조가 사라진 뒤에만 owner가 release한다. retired = old_owned − referenced_after_commit이며 shared/prefix block은 allocator reference를 감소시킬 뿐 무조건 반환하지 않는다. layer별 table은 byte movement를 없앨 수 있어도 회수 블록 수가 적거나 0일 수 있다. 이 한계는 구현 후 workload별로 측정한다.

4.4 안전한 commit / free

build immutable RetainPlan
 → validate request still RUNNING + no conflicting verify/upload/preempt
 → wait last reader/transfer event
 → apply all affected layer/group tables + valid lengths
 → worker completion ACK (all TP ranks)
 → scheduler commits new owner/view generation
 → retire old references and publish CPU ledger ACK

현 scheduler_recompact.py:219–232는 table 길이를 먼저 줄이고 tail을 다음 step에 free한다. 새 경로는 단순 “다음 schedule”을 완료 증거로 사용하지 않는다. 오류/취소 시 ACK 전의 old state를 유지하고 신규 예약을 돌려주는 abort 경로가 필요하다. 최근/partial/draft 블록과 SW window는 selected clear의 대상에 넣지 않는다.

block-native metadata의 원소 수는 token 장부보다 대략 block_size배 작아진다. 그러나 score 생성은 여전히 token attention을 필요로 하고, H2D KV bytes는 같은 선택량이면 그대로다. 전체 경로가 block_size배 빨라진다고 예측하지 않는다.

Dynamic Recompaction의 Trc=0 대신 다음 식으로 구분한다.

Tretain = Ttable_update + Tplan + Tmetadata + Twait + Tallocator
          + Tkv_move

Tkv_move = 0  only on validated metadata-remap path
Benefit = h × [Tattn(before) − Tattn(after)]
          + avoided_capacity_stall − accepted_output_cost_penalty
Retain now if Benefit > Tretain + Margin

acceptance penalty, table planning, barrier 비용은 미측정이다. 기존 byte-copy roofline의 α 항을 단순히 지워 새 R*를 확정하지 않는다. 메모리 회수 효과는 bytes_moved와 별도로 physical_blocks_released로 기록한다.

정확성 fixture: B=1/2/32/64; empty/delta0; 모든 layer empty; tail 소진; mixed layer counts; 중복·음수·비정렬 tail; partial seq=B−1/B/B+1; full/SW/multiple-full groups; 틀린 source owner; delayed/duplicate/stale ACK; finish-after-enqueue; last-request finish; producer restart; all-rank ACK 지연; CUDA graph replay 중 table 교체; transfer 중 source free.

같은 선택을 사용한 transport/remap은 전 layer·전 head·유효 구간을 bytewise 비교한다. floating arithmetic를 바꾸지 않은 copy 경로에 BF16 tolerance로 다른 바이트를 허용하지 않는다. attention/logit 수치 비교는 dtype별 tolerance와 violation rate를 별도로 기록한다. COMPACT_METHOD=token vs block의 acceptance 차이는 정책 평가이지 bytewise 실패가 아니다.

이번 진단은 GPU 없이 source snapshot의 planner와 keep-map 함수만 실행했다. native extension·실제 SHM 경쟁·GPU 전송·모델 forward·E2E는 실행하지 않았다. 현재 실행에서 해당 race/불완전 전송이 실제 발생했는지는 별도 증거가 필요하다.

• 분석 snapshot: build/block_selection_audit_20260916/source/
• SHA256 목록: build/block_selection_audit_20260916/source_sha256.json
• 원격 증거 묶음: /home2/qwg724/001_CompressSpec/jh_script/ai_agent/results/block_selection_audit_20260916/evidence.tar.gz
• 검사 코드: build/block_selection_audit_20260916/check_contracts.py
• 검사 결과: build/block_selection_audit_20260916/contract_checks.json
• 명령: python build/block_selection_audit_20260916/check_contracts.py
• 검사 seed: 20260916. native/JIT 비활성. live engine/SHM 변경 없음.
• 현황판은 이 문서를 읽어 생성한다. 코드·표를 별도 사본에서 수작업 유지하지 않는다.

v1 문서의 “rebase 시도 후 복원”은 당시 이력이고, v2 탭은 이후 rebase 완료를 보고했다. 이번 v3에서는 둘을 현재 기능 완료로 쓰지 않고 원격 실제 HEAD·코드 경로로 판정했다. 이전의 “COMPACT_ZEROCOPY 켜면 GPU Trc=0”, “token/block KV byte equality”, “target top1만으로 분포 정합”, “j>0은 항상 비교 불가”를 위 계약으로 정정했다. 커밋 주석의 acceptance/throughput 수치를 이번 분석의 실측으로 재인용하지 않는다.