삼성전자(Samsung)가 LPDDR5X 메모리 칩의 16개 뱅크에 연산 블록을 넣고, 표준 메모리 명령으로 이를 작동시키는 처리-인-메모리(PIM) 설계를 공개했다. 핫칩스(Hot Chips) 2026에서 소개한 이 방식은 데이터를 연산기로 옮기는 대신 저장된 자리에서 계산해 칩 내부 대역폭을 활용한다. 다만 기존 메모리 컨트롤러와 연결된다는 장점이 곧바로 기존 컴퓨터에서 쓰기 쉽다는 뜻은 아니다. 명령의 의미가 모드에 따라 바뀌면서 운영체제의 작업 전환부터 캐시와 추측 실행까지 충돌할 수 있기 때문이다.
핵심 요약
- 삼성전자는 LPDDR5X 칩의 16개 메모리 뱅크마다 PIM 블록을 배치해, 일반 메모리 접근보다 훨씬 넓은 칩 내부 대역폭을 연산에 활용하도록 설계했다.
- LPDDR5X-PIM은 표준 메모리 명령과 기존 메모리 컨트롤러를 사용하지만, 특수 주소와 모드 전환으로 읽기·쓰기 명령을 연산 지시로 바꾼다.
- 16개 뱅크에 같은 입력과 명령을 전달하는 구조는 모델 가중치를 병렬 처리하는 데 맞지만, 뱅크별로 서로 다른 작업을 맡기는 데는 제약이 있다.
- 글의 필자는 PIM 사용 중 다른 스레드의 메모리 접근이나 CPU의 캐시·추측 실행이 결과를 흐트러뜨릴 수 있어 소프트웨어 통합이 어렵다고 지적한다.
- 필자는 메모리 영역을 따로 떼어 쓰기보다 전용 연산 명령과 캐시 일관성 지원을 메모리 체계에 추가하는 편이 실용적이라고 제안한다.
16개 뱅크 안에 들어간 연산 블록
메모리 안에서 계산하려는 이유는 데이터가 지나가는 길에 있다. 일반적인 DRAM 접근에서는 메모리 컨트롤러가 뱅크를 고르고 행을 연 뒤, 열 접근 명령으로 데이터를 칩 밖으로 가져온다. 이때 칩 내부에 여러 뱅크가 있어도 외부 메모리 인터페이스가 한꺼번에 꺼낼 수 있는 데이터의 양을 제한한다. 연산을 뱅크 가까이에 두면 내부에서 읽은 데이터를 외부 버스로 모두 내보내지 않아도 된다.
삼성전자의 LPDDR5X-PIM은 일반적인 LPDDR5X-9600처럼 16개 뱅크를 갖되, 각 뱅크에 PIM 블록을 하나씩 붙인다. 이 블록들이 각자 연결된 뱅크를 읽으면 16개 뱅크를 합쳐 초당 614GB의 내부 대역폭을 쓸 수 있다. 글에서 비교한 일반 DRAM 접근은 두 뱅크를 병렬로 다루며 최대 초당 76.8GB에 이른다. 이 차이는 외부로 데이터를 더 빨리 전송한다는 뜻이 아니라, 데이터를 칩 안에서 처리할 때 활용할 수 있는 통로가 더 넓다는 뜻이다.
모델 가중치를 읽는 MAC 배열
각 PIM 블록의 중심에는 곱셈과 덧셈을 이어서 수행하는 MAC(곱셈·누산) 배열이 있다. 주변에는 명령, 입력값, 배율을 담는 레지스터와 제어 회로가 놓인다. 1024비트 명령 레지스터에는 16비트 명령을 최대 64개 저장하고, 4킬로비트 소스 레지스터에는 활성화 벡터를 담는다. 모델 가중치는 연결된 DRAM 뱅크에서 읽으며, 연산 전에 적용할 배율은 2킬로비트 배율 레지스터에서 가져온다.
MAC 배열은 여러 저정밀 수치 형식을 지원한다. 삼성전자의 발표 수치를 바탕으로 글의 필자는 블록 하나가 데이터 클록당 INT8 또는 FP8 MAC 연산 네 번을 지속할 수 있다고 계산했다. 입력 가중치를 4비트로 낮추면 처리량은 두 배가 돼 패키지 전체에서 2.4TOPS에 이른다. 필자는 이 수치 자체는 높지 않지만 칩을 여럿 쓰면 합산 처리량을 키울 수 있다고 설명한다.
예를 들어 LPDDR5X 칩 여덟 개를 쓰면 INT8 기준 9.6TOPS로, 인텔(Intel) 메테오 레이크(Meteor Lake)의 NPU와 거의 맞먹는다고 글은 비교한다. 그러나 칩 여덟 개를 묶는 구성에는 용량과 비용이 따른다. 16GB 칩 여덟 개라면 시스템 메모리가 128GB가 된다. PIM의 가치는 연산량 숫자만이 아니라, 그 연산에 필요한 데이터가 각 뱅크에 놓여 있는지까지 함께 봐야 한다.
표준 명령을 연산 명령으로 바꾸는 주소
이 설계의 특징은 LPDDR5X 표준 프로토콜을 유지하면서 표준에 없는 연산 기능을 드러낸다는 점이다. 삼성전자는 특수한 행 주소를 따로 정해 모드 제어에 사용한다. 채널별로 미리 정한 두 행 가운데 하나를 활성화하면 일반적인 단일 뱅크 모드가 되고, 다른 하나를 활성화하면 명령을 16개 뱅크에 함께 적용하는 다중 뱅크 모드가 된다. 뱅크별로 마련된 또 다른 특수 행을 활성화하면 읽기·쓰기가 일반 DRAM 내용 대신 PIM 레지스터를 대상으로 한다.
삼성전자가 제시한 기계학습 사용 흐름은 먼저 단일 뱅크 모드에서 모델 가중치를 DRAM에 적재하는 것으로 시작한다. 이후 다중 뱅크 모드와 PIM 레지스터 활성화 모드로 바꿔 입력 벡터, 배율, 수행할 명령을 각 레지스터에 쓴다. 다중 뱅크 모드에서는 레지스터 쓰기 한 번이 16개 뱅크로 전달된다. 따라서 모든 뱅크가 같은 명령과 배율, 같은 소스 입력을 받아 각자의 DRAM 데이터에 적용하는 제한적인 SIMD(하나의 명령으로 여러 데이터를 병렬 처리하는 방식)처럼 움직인다.
이 일괄 전달은 호스트가 레지스터를 채우는 부담도 줄인다. DRAM 전송 단위가 256비트이므로 소스 레지스터 하나를 채우는 데 쓰기 명령 16번이 필요하다. 이를 16개 뱅크에 따로 반복하면 256번의 쓰기가 필요해 호스트와 PIM 사이의 전송이 병목이 된다. 삼성전자는 단일 뱅크별 레지스터 쓰기도 허용하지만, 주된 용도는 디버깅으로 설명한다.
읽기가 계산을 시작하고 쓰기가 결과를 저장한다
레지스터 준비가 끝나면 소프트웨어는 다중 뱅크 모드에서 읽기 명령을 보낸다. 이때 읽기는 DRAM 내용을 호스트로 가져오는 대신 PIM 연산을 시작하고, 결과를 PIM의 벡터 레지스터 파일에 누적한다. 이어지는 쓰기 명령은 이 결과를 해당 DRAM 뱅크로 돌려보낸다. 호스트가 결과를 일반 메모리처럼 읽으려면 칩을 다시 단일 뱅크 모드로 바꿔야 한다.
기존 메모리 컨트롤러가 명령 순서를 바꿀 수 있다는 점도 처리해야 한다. PIM이 명령 순서에 따라 소스 레지스터의 첫 번째, 두 번째 요소를 차례로 쓴다고 가정하면, 접근 순서가 바뀌었을 때 다른 입력값으로 계산할 수 있다. 삼성전자의 주소 정렬 모드(AAM)는 접근하는 열 주소를 바탕으로 사용할 소스 레지스터 요소를 정한다. 표준 명령을 재활용하는 설계인 만큼, 기존 컨트롤러의 동작과 연산 결과를 맞추기 위한 장치다.
다른 스레드가 같은 채널을 읽을 때
글의 필자는 표준 컨트롤러와 연결되는 성과를 높이 평가하면서도, 소프트웨어가 감당해야 할 제약은 크다고 본다. PIM 모드에서는 같은 읽기·쓰기 명령의 의미가 바뀌므로 해당 메모리에 일반 접근과 PIM 접근을 동시에 할 수 없다. 다른 스레드가 그 사실을 모른 채 읽으면 의도치 않은 연산을 일으킬 수 있고, 쓰면 PIM 결과를 잘못된 주소에 저장하게 만들 수 있다. 메모리 컨트롤러와 DRAM은 접근한 명령이 어느 스레드에서 왔는지 구별하지 않는다.
삼성전자는 호스트가 PIM용 메모리 영역을 분리하는 방식으로 대응한다. 하지만 필자는 보통 주소가 여러 채널에 걸쳐 배치돼 대역폭을 활용한다는 점에서, 특정 채널을 PIM 전용으로 떼어내는 방안이 필요할 것으로 본다. 그러면 일반 애플리케이션은 예약된 채널의 대역폭을 쓰지 못하고, PIM 작업도 나머지 채널의 대역폭과 연산 능력을 활용하지 못한다. 칩 하나의 연산 처리량이 크지 않은 만큼 후자의 손실도 무시하기 어렵다는 판단이다.
영역을 분리해도 멀티스레드 문제는 남는다. 한 애플리케이션 안에서는 PIM 연산과 일반 메모리 접근이 겹치지 않도록 잠금이 필요하고, 여러 프로세스가 함께 돌아가면 조정 범위는 더 넓어진다. 필자는 운영체제가 PIM 작업 도중 다른 스레드를 막고 인터럽트를 끄는 방식까지 생각해야 할 수 있다고 지적한다. 작업을 중간에 멈추려면 칩을 PIM 모드에서 꺼내고 뱅크별 명령·입력·배율·결과 레지스터 상태를 저장해야 한다.
캐시와 추측 실행이 만드는 또 다른 충돌
PIM은 CPU가 기대하는 메모리의 동작도 바꾼다. DRAM 안에서 새로 만들어진 값은 캐시가 저절로 알 수 없는 반면, 캐시가 접근을 대신 처리하면 연산을 시작해야 할 명령이 DRAM까지 도달하지 않을 수 있다. 삼성전자는 이에 따라 PIM 메모리를 캐시하지 않는 영역으로 설정하길 권한다. 필자는 CPU와 GPU가 DRAM 지연을 줄이는 데 캐시에 크게 의존하므로, 이 선택이 일반 코어의 성능을 심하게 떨어뜨린다고 지적한다.
읽기 명령에 부작용이 생긴다는 점은 추측 실행과도 맞지 않는다. CPU는 필요 여부가 확정되기 전에 데이터를 미리 읽거나, 앞으로 쓸 것으로 예상한 데이터를 프리페치(미리 가져오기)한다. 보통의 읽기라면 나중에 필요 없어진 데이터는 버리면 되지만, PIM 읽기는 이미 벡터 레지스터의 계산 결과를 바꿀 수 있다. 필자는 PIM 영역의 접근을 캐시하지 않는 데 더해 추측적으로 실행하지 못하게 해야 할 가능성이 크다고 본다.
뱅크 사이 데이터 이동과 인터페이스 재설계
모드 충돌을 해결해도 모든 계산이 메모리 안에서 끝나는 것은 아니다. PIM 블록 하나가 빠르게 접근할 수 있는 곳은 자신에게 붙은 DRAM 뱅크뿐이다. 다른 뱅크의 데이터가 필요하거나 블록끼리 결과를 주고받아야 한다면, 호스트가 일반 DRAM 읽기·쓰기로 데이터를 옮겨야 한다. 이때는 연산을 데이터 곁에 뒀다는 이점과 외부 인터페이스를 통한 이동 비용을 함께 따져야 한다.
필자는 해법으로 메모리 인터페이스에 별도 연산 명령을 추가해 모드 전환을 피하는 방안을 제시한다. 또 메모리 컨트롤러가 연산 대상 캐시 라인의 소유권을 확보해 CPU 쪽의 최신 수정 내용을 DRAM에 반영하고, 연산이 끝날 때까지 이를 관리하는 캐시 일관성 체계를 제안한다. CPU 명령어에도 일정 메모리 구간의 MAC 연산을 표현하는 명령을 두면, 하드웨어가 데이터의 위치에 따라 PIM 또는 CPU 내부 연산을 고를 수 있다는 구상이다. 필자가 피하고 싶은 것은 메모리와 채널을 따로 예약하고 캐시를 끄며 스레드까지 멈춰야만 PIM을 쓸 수 있는 방식이다.
커뮤니티 의견
한 사용자는 연산을 메모리에 넣으면 필요한 정보가 어디에 있는지 정확히 알아야 한다고 지적했다. AI·게임·암호화폐처럼 맞는 작업은 있어도 대부분의 문제에는 지나치게 제한적이며, 이런 수준의 특화가 필요하다면 전용 칩을 만드는 편과 다르지 않다는 주장이다. 답글에서는 AI가 코드를 작성하면 개발 난도가 덜 중요해질 수 있다는 의견과, 가상 메모리 체계까지 다시 생각해야 한다는 반론이 이어졌다.
다른 사용자는 메모리와 연산을 가까이 두려는 구상이 오래된 주제라고 짚었다. 데이터가 필요한 곳에서 계산한다는 방향 자체는 자연스럽고, 저전력 데이터 흐름형 맞춤 칩으로 이어질 가능성을 떠올렸다. 이에 대해 메모리에 연산을 더하는 것과 CPU에 메모리를 더 싣는 것 중 어느 쪽이 쉬울지 비교하는 의견도 나왔다.
비슷한 구상을 과거 핫칩스 발표에서 봤다는 사용자는 흥미로운 설계와 실제 채택은 구별해야 한다고 말했다. 기술 행사에는 특이한 가속기 설계가 꾸준히 등장하지만 모두 산업에서 쓰이는 것은 아니라는 이유다. 답글에서는 일부 설계는 실제로 업계에 진입했다며 마이식 AI(Mythic AI), 엔차지 AI(Encharge AI), 디매트릭스(d-Matrix)를 예로 들었다.
한 사용자는 행렬 곱셈에서는 곱하고 더하는 연산보다 행렬 원소를 필요한 연산기까지 이동시키는 일이 더 중요하다고 주장했다. 답글에서는 바로 그 이동 비용 때문에 메모리 안 연산을 시도할 이유가 있다면서도, DRAM 제조 공정이 순수 연산 회로에 유리하지 않고 맞춤형 프로그래밍 방식과 수치 형식 지원도 제약이 된다고 봤다. 반대로 고정된 매개변수가 많은 행렬 연산의 중요성이 커지는 만큼, 메모리와 연산의 결합이 추론 비용을 낮출 수 있다는 기대도 제시됐다.
캐시를 포기하는 비용을 묻는 사용자도 있었다. PIM용 영역에서 발생할 캐시 미스가 실제 성능에 얼마나 영향을 줄지 궁금하지만, 삼성전자가 그 영향을 어떻게 해결할지는 글에서 확인하기 어렵다는 의견이다. 답글에서는 작업 데이터가 이미 캐시에 들어간다면 PIM을 쓸 이유가 줄어든다는 지적이 나왔다.
삼성전자가 PIM을 계속 추진하는 데 주목한 사용자는 실제 도입을 이끌 결정적인 용도가 무엇인지 물었다. 답글에서는 LLM을 후보로 들며, 가중치를 담은 RAM에서 MAC 연산을 수행하면 CPU의 부담과 외부 메모리 대역폭 요구를 줄일 수 있다고 기대했다. 다만 RAM을 추가하는 것만으로 더 큰 모델을 실행하는 구상은 답글에서도 가능성을 그린 가상의 제안으로 제시됐다.
뱅크 크기에 주목한 사용자는 모델의 한 층에 필요한 가중치가 한 뱅크에 들어가지 않으면 속도 이점이 줄어드는지 물었다. 답글에서는 가중치를 여러 뱅크로 나눌 때는 더 작은 입력·출력 벡터만 이동하면 될 수도 있다는 설명이 나왔다. 또 다른 의견은 행렬·벡터 곱에서는 타일을 뱅크에 나눠 담을 수 있지만 부하를 고르게 분배해야 하며, 일반적인 행렬 곱에는 GPU나 NPU가 더 낫다고 봤다.
AI 데이터센터의 연산 수요를 두고 PIM 같은 최적화가 확장을 얼마나 상쇄할지 묻는 의견도 있었다. 이에 대한 답글은 이미 여러 최적화가 이뤄졌어도 수요가 줄지 않았다며, 효율 향상이 비용 대비 가치를 높여 사용량을 더 늘릴 수 있다고 반박했다. PIM의 성공 여부와 별개로, 연산 효율 개선이 곧바로 전체 연산 수요 감소로 이어지는지는 다른 문제라는 관점이다.
핵심 통찰
삼성전자의 설계는 메모리 칩 안의 넓은 통로를 계산에 쓰면서도 표준 메모리 컨트롤러와 연결할 수 있음을 보여준다. 그러나 기존 명령을 연산 지시로 바꾸는 순간, 메모리를 여러 작업이 공유하고 읽기를 부작용 없는 동작으로 다루던 컴퓨터의 전제가 흔들린다. 관건은 칩의 대역폭이나 TOPS만이 아니다. 운영체제가 작업을 안전하게 전환하고, 캐시가 최신 결과를 유지하며, 실제 모델의 데이터를 뱅크 사이에 얼마나 적게 옮길 수 있는지가 PIM의 쓸모를 가를 것이다.
원본: Hot Chips 2026: Samsung’s Processing-in-Memory (PIM)
토론: Hacker News