30년전 인텔에 무슨일?…펜티엄 부동소수점 연산 오류 발견

1994년 6월 중순, 당시 미국 린치버그 칼리지(이후 린치버그 대학교로 승격) 수학과 교수였던 토머스 나이슬리(Thomas Ray Nicely) 박사는 연구실에서 인텔 펜티엄 프로세서를 탑재한 컴퓨터로 나눗셈 계산을 하다 계산 결과가 예상과 다르다는 것을 발견했다.

그는 같은 해 10월, 이 문제의 원인이 펜티엄 프로세서의 부동소수점 나눗셈(FDIV) 명령어의 오류에 있다는 사실을 밝히고 10월 24일경 이 문제를 인텔에 알렸다. 인텔 역사상 첫 번째 프로세서 리콜을 이끌어 낸 '펜티엄 FDIV 버그' 사건의 시작이었다.

펜티엄 초기 설계시 오류 저지른 인텔

인텔은 80486 DX 프로세서 대비 펜티엄 프로세서의 연산 성능을 끌어올리기 위해 부동소수점 나눗셈 처리 코드에 1958년 발표된 SRT 알고리듬을 적용했다.

IBM과 미국 일리노이 대학교, 영국 런던왕립대 연구진의 머릿글자를 딴 이 알고리듬은 계산 과정에서 미리 만들어진 값을 이용해 속도를 올리는 방법을 이용했다.

인텔은 총 2048개의 값을 준비해 펜티엄 프로세서에 입력할 예정이었지만 이 중 1천 개 가량이 실제로는 담기지 못했다. 그리고 출시 과정까지 아무도 이를 눈치채지 못했다.

"당시 출시된 모든 펜티엄 PC에서 오류 발견"

토머스 나이슬리 박사는 미국 PC통신 서비스 '컴퓨서브' 포럼에도 "이 문제는 델 P90, 게이트웨이 P90, 마이크론 P60 등 현재까지 테스트한 모든 펜티엄 프로세서 탑재 PC에서 발견됐다"고 밝혔다.

이어 "펜티엄 이전에 인텔이 출시한 80486 프로세서에서는 이 문제가 나타나지 않았으며 펜티엄 프로세서로 같은 계산을 처리한다 해도 FPU를 쓰지 않으면 문제는 일어나지 않았다"고 덧붙였다.

인텔은 토머스 나이슬리 박사의 연락을 받은 뒤 1주일만인 1994년 11월 펜티엄 프로세서의 부동소수점 연산장치(FPU)를 업데이트했다고 밝혔다. 당시 인텔은 "이 문제는 매우 드문 조건에서 일어나며 최근에 공급된 펜티엄 프로세서에서는 해결됐다"고 설명했다.

인텔, IBM 'PC 출하' 강수에 리콜로 선회

인텔은 당초 펜티엄 프로세서를 리콜할 계획이 없었던 것으로 보인다. 그러나 당시 여명기에 있었던 인터넷을 통해 학계 전문가들이 이메일로 빠른 시간 안에 의견을 교환할 수 있었다.

IT 매체 뿐만 아니라 CNN까지 보도에 나서면서 사태는 커졌다. 당시 인텔의 가장 큰 파트너사였던 IBM은 인텔 프로세서 탑재 PC 출하를 중단하는 강수를 뒀다.

결국 인텔은 1994년 12월 20일, 문제가 있는 펜티엄 프로세서를 모두 교환해 주는 방향으로 선회했다.

당시 인텔이 펜티엄 프로세서 리콜에 지출한 비용은 4억 7천500만 달러(약 6천557억원)이며 현재 화폐 가치로는 약 10억 45만 4천75달러(약 1조 3천811억원)에 달한다.

토머스 나이슬리 교수, 2019년 세상 떠나

인텔은 펜티엄 부동소수점 오류 사건을 기점으로 생산하는 모든 반도체 제품에 대해 출시 이후 발견된 문제를 모아 '사양 업데이트'(Specification Update)라는 명칭으로 제공하고 있다.

인텔이 미국 캘리포니아주 산타클라라 소재 인텔 본사 안에서 운영하는 작은 박물관인 '인텔 뮤지엄'에 전시된 펜티엄 프로세서 설명은 다음과 같다.

관련기사