주메뉴 바로가기 본문 바로가기

POPUP ZONE

KAIST AI반도체 최고경영자과정 2기 모집 안내
회원 개인정보 추가 작성 요청
KAIST AI-PIM PIM반도체연구센터

IP 검색

Fixed-point Transformer Encoder Accelerate Unit (BERT) (차세대지능형반도체사업단)

■ BERT 등 Transformer encoder 모델의 추론을 위한 고정 소수점 연산 기반 가속기

Feature
· ■ Precision: 16bit INT, fixed-point
· ■ AXI4-Lite 기반의 IP controller 및 512-bit AXI4 bus
· ■ Matrix multiplication 연산을 위한 32x32 output stationary systolic arrays
· ■ Softmax 연산 방식의 HW 리소스 및 성능 개선을 위한 동적 최댓값 대응 base-2 softmax 적용
· ■ LUT와 linear interpolation 기반의 approximation을 사용한 GELU 및 Layernorm 구현
· ■ Freq : 180MHz, 2 instances on Alveo U200 FPGA
· ■ Bert-Base 기준 0.081sec의추론 성능 달성 (1 batch)
Application
· -
Business Area
-
Category

Processor Solutions


Processor Solutions > AI Processor


Tech Specs
  • IP Name :

    Fixed-point Transformer Encoder Accelerate Unit (BERT) (차세대지능형반도체사업단)

  • Provider :

    Hanyang Univeristy

  • Foundry :

    N/A

  • Technology :

    N/A

Deliverables
· ■ RTL, FPGA binary file (xclbin), IP control SW (python, PYNQ)
Validation Status
· ■ FPGA-based validation & model accuracy evaluation
Availability
Available
Functional Diagram
Benefits
·
List