TUWLAB.com 서버 복구 - 그리고 수많은 인터럽트

잘 돌아가던 서버가 갑자기 이상행각을 보이기 시작한건 지난 4월 초순경이었다.

돌연 홈페이지 접속이 되지 않아 서버 상태를 점검하려고 모니터를 켰지만 아무 화면도 나타나지 않았다. [..]

강제 재부팅 후 화면이 뜨긴 했는데 상태를 보니, ① 다운클럭을 하지 않으면 화면이 깨지면서 OS 진입이 불가능했고, ② 부팅 과정에서 스토리지 하드가 올바르게 마운트되지 않았다.

우선 가장 의심이 되는 그래픽카드를 뽑아서 상태를 확인해 보았는데, 역시나 캐패시터 두 개가 폭발해 있었다. 작년 5월경에도 캐패시터 3개가 폭발해서 그걸 직접 교환하여 잘 쓰고 있었는데, 이번에는 작년에 멀쩡하던 나머지 두 개가 폭발해 버린 것이었다.

작년에는 원인을 찾으려고 몇달에 걸쳐 삽질을 하느라 서버 수리가 늦어졌었는데, 이번에는 수리할 부품도, 공구(인두)도 없었다. 게다가 이번에 폭발한 캐패시터는 작년에 폭발한 1500uF/6.3V짜리가 아닌 470uF/16V짜리였다. 캐패시터가 또 폭발할 경우에 대비해서 작년에 여분을 구매해 뒀었는데, 그게 소용이 없어진 것이다.

작년에 1500uF/6.3V짜리 마이카 캐패시터 그거 찾으러 청계천 세운상가를 이 잡듯이 헤고 다녔었는데, 또다시 그 짓(?)을 할 생각을 하니 갑갑하기도 하고 짜증나기도 했다. -_-

그리고 또 다른 이상 증상인 마운트가 되지 않는 문제는 처음에는 그래픽카드 이상으로 인해 연계되어 나타난 문제인 줄 알았다. 자동 마운트가 되지 않던 하드디스크는 FTP 스토리지용으로 쓰는 하드였는데, 수동마운트는 아주 잘 되었고 저장된 파일도 문제없이 액세스 할 수 있었기 때문이다.

... 하지만 결과적으로 그건 오판이었고, 자동마운트가 되지 않던 하드는 며칠 뒤에 뻑나서 데이터가 깨져버렸다. 그걸 또 복구하느라 추가적으로 2주정도의 시간이 더 소요되었다.

- 자동마운트가 되지 않는다는걸 발견한 직후 바로 데이터를 백업한 다음 배드섹터 검사를 한 뒤 로우포맷 했어야 했다.

하드디스크 이상을 감지하고 서버의 스토리지 구조를 개선할 필요를 느꼈다. 뻑난 하드디스크는 FTP 스토리지용이었는데, 상당히 중요한 자료들이 저장되어 있었다. 그간 찍은 사진들부터 포함해서 문서, 학사, 프로그램 설치파일 등등..

이 정도 중요도라면 RAID 구성을 했어야 되는데, 하드디스크도 없고, 여태까지 외장하드 혼용으로 사용하고 있던 터라 그럴 생각을 못 했던 것이다.

뻑난 하드에 담겨 있던 데이터는 다행이도 R-Studio로 100% 복구해낼 수 있었다. 많은 시간이 소요되었다. 배드섹터때문인지 스캔을 할 때마다 복구 가능 데이터가 서로 다르게 나타났기 때문이다.

▲ R-Studio로 뻑난 하드를 복구하던 중, 이를 빠득빠득 갈며 주문한 1TB짜리 하드디스크 두 개

평소 스토리지 하드의 용량이 부족하다고 느꼈던 터라 이번 기회에 1TB짜리로 바꾸기로 하고, 동시에 RAID-1을 구축했다. RAID-1은 Mirror 방식으로, 두 개의 하드디스크에 똑같은 데이터가 기록되는 형태이다. 즉, 데이터 목숨(?)이 두 개가 된 것.

하드디스크를 주문하면서 인두기도 함께 주문했다. 원래 쓰던 인두기는 3년전 입대하기 직전에 전동커튼을 만들면서 히터가 부러지면서 운명하셨다. 전자공학도가 무려 3년동안 인두기를 안 갖고 있었는데, 이건 솔직히 좀 반성할 일인 것 같다.ㅡㅡㅋ

여튼; 새로 인두기를 사는 판에 기왕 온도조절이 되는 좋은걸로 사려고 인터넷을 뒤지던 중 마음에 딱 드는 걸 발견했다. 핸디형 온도조절 인두기였는데, 가격이 무려 3만원이면서 210~450도까지 조절이 가능했다. 한 가지 흠이 있다면 중/국/산/ 이라는 점이었는데, 인두팁만 나중에 호환되는 일제 인두팁으로 바꿔서 쓰기로 작정하고 덜컥 구입해 버렸다.

- 그때 한 결정이 엄청난 후폭풍이 되어 돌아올지는 꿈에도 몰랐다. 나중에 완성되면 포스팅하겠지만, 그 때 그 결정으로 인해 나는 지금 온도조절 인두기를 만드는 프로젝트를 진행하고 있다. 더불어, 인두기 배송이 3주나 걸리는 바람에 그 공백기간에는 무늬만 핫스왑 베이로 되어 있던 서버 케이스를 개조하여 진짜 핫스왑 베이로 바꿔 버렸다. 그 삽질의 향연도 다른 포스팅에서 다룰 것이다...ㅜㅠ

주문한 인두기는 당시 터진 CJ-대한통운 통합 사태때문에 배송에만 일주일이 걸렸다. 게다가 초기불량(220V에 꽃자마자 인두기 전원부가 폭발;;해 버렸다.)이어서 교환을 받는데, 이번에는 재고가 없어서 거의 2주일을 더 기다려야 했다. 결과적으로 4월 초에 주문한 인두기를 4월 말엽이 되어서야 받았고, 그제서야 VGA 수리작업을 진행했다.

▲ 오른쪽에 있는 파란색 불 켜진 투명한 물체가 3만원짜리 중국산 온도조절 인두기이다. 엄청난 후폭풍을 몰고 온.ㄷ

그러나 이번에는 인두팁이 말썽이었다. 캐패시터 한개를 겨우 떼어냈는데, 인두팁이 못 봐줄 정도로 새카맣게 타 버린 것이다. 예초 계획대로 호환되는 인두팁을 구매하려고 했는데, 그런게 존재하지 않았다. 이런 중국산ㅡㅡ^

▲ 결국 집근처 전자상가에서 싼 인두기를 구입해서 VGA를 수리했다.

본래 폭발한 캐패시터는 마이카 캐패시터였는데, 다시는 절대로 또다시 폭발하지 말라는 뜻에서 같은 용량의 솔리드 캐패시터로 교환했다. 여분까지 확보한 것은 물론이고, 작년에 교환했던 나머지 3개 마이카 캐패시터와 같은 용량의 솔리드 캐패시터도 확보해 두었다.

▲ 커다란 방열판 대신 쿨러가 달린 소형 방열팬을 장착했다.

원래 이 그래픽카드는 방열팬이 달려있지 않고, 대신 기판 전체를 덮는 커다란 방열판이 장착되어 있었다. 이게 캐패시터 윗부분을 감싸는 구조로 되어 있어서 캐패시터 온도를 상승시켜 폭발에 이르게 했을 것이다. 마침 VGA 기판에 쿨러 커넥터가 있길레, 대형 방열판을 떼버리고 집에 굴러다니던 VGA용 소형 방열팬을 장착했다.

아무리 생각해도 이 3만원짜리 싸구려 VGA는 정말 주인을 잘 만난것 같다. 아마 다른 사람이었으면 첫번째 폭발했을때 단번에 저 멀리 창밖 쓰레기통으로 내팽개쳐졌을텐데.

▲ S/W 복구작업 진행중

서버 하드웨어 수리 및 구성을 마치고 나서는 책상 옆 발밑에 갖다놓고 약 일주일에 걸쳐서 OS 설치 및 소프트웨어 세팅, 데이터 복원 과정을 거쳤다.

OS 설치 및 SSH 세팅만 하고 거실에 설치한 다음 방에서 원격으로 나머지 세팅을 할 수도 있었지만, 그렇게 하다가 하도 갑갑질나서 결국 이렇게 가져와서 작업을 했다. 작년에 서버 복구하면서 만들어놓은 메뉴얼이 있긴 했지만, 그동안 서버 기능을 많이 확장했던 터라 하나도 안 맞았다. 결국 메뉴얼을 '참조'했다기 보다는, '새로 쓰면서' 서버 복구를 진행했다.

▲ 복구 완료 후 정상 서비스중인 TUWLAB.com 서버

이렇게 해서 고장부터 수리&복구 완료까지 2달에 걸친 대장정이 막을 내렸다. 이 포스팅을 쓰는 시점은 6월 중순이지만, 서버 복구 완료는 5월 20일경에 마무리 되었다.

서버 복구는 완료되었지만, 그 과정에서 파생된 온도조절 인두기 제작 프로젝트는 아직도 현재진행형이다. 이것도 중간에 삽질을 너무많이 해서 대체 언제 마무리가 될지는 아직도 잘 모르겠다. 이제 ATmega8 꼽고 프로그램 짜야되는데..

TUWLAB.com 서버는 예전에는 주로 웹서버 용도로 사용하고, FTP를 통한 소규모 자료저장 기능 정도만 활용했지만, 이제 규모도 커졌고 더욱 다양한 방면으로 활용하고 있다. 기존 웹 서버 및 파일서버 기능 외에, 토렌트 시딩머신, 데스크탑-노트북-스마트폰의 실시간 동기화 폴더 중계 서버 역할도 수행한다.

앞으로 시간이 갈 수록 이 서버로 하게 될 일들이 많이 늘어나게 될 것이다. 이 서버로 작은 수익사업이라도 해서 전기요금이라도 커버하자는 생각이 요즘 드는데, 글쎄. 잘 모르겠다.ㅎㅎ