Skip to content
TUWLAB.com
일반
2013.06.17 00:16 (2014.04.13 18:02)

TUWLAB.com 서버 복구 - 그리고 수많은 인터럽트

TUW
조회 수 14797 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부


잘 돌아가던 서버가 갑자기 이상행각을 보이기 시작한건 지난 4월 초순경이었다.

돌연 홈페이지 접속이 되지 않아 서버 상태를 점검하려고 모니터를 켰지만 아무 화면도 나타나지 않았다. [..]

강제 재부팅 후 화면이 뜨긴 했는데 상태를 보니, ① 다운클럭을 하지 않으면 화면이 깨지면서 OS 진입이 불가능했고, ② 부팅 과정에서 스토리지 하드가 올바르게 마운트되지 않았다.


우선 가장 의심이 되는 그래픽카드를 뽑아서 상태를 확인해 보았는데, 역시나 캐패시터 두 개가 폭발해 있었다. 작년 5월경에도 캐패시터 3개가 폭발해서 그걸 직접 교환하여 잘 쓰고 있었는데, 이번에는 작년에 멀쩡하던 나머지 두 개가 폭발해 버린 것이었다.

작년에는 원인을 찾으려고 몇달에 걸쳐 삽질을 하느라 서버 수리가 늦어졌었는데, 이번에는 수리할 부품도, 공구(인두)도 없었다. 게다가 이번에 폭발한 캐패시터는 작년에 폭발한 1500uF/6.3V짜리가 아닌 470uF/16V짜리였다. 캐패시터가 또 폭발할 경우에 대비해서 작년에 여분을 구매해 뒀었는데, 그게 소용이 없어진 것이다.

작년에 1500uF/6.3V짜리 마이카 캐패시터 그거 찾으러 청계천 세운상가를 이 잡듯이 헤고 다녔었는데, 또다시 그 짓(?)을 할 생각을 하니 갑갑하기도 하고 짜증나기도 했다. -_-


그리고 또 다른 이상 증상인 마운트가 되지 않는 문제는 처음에는 그래픽카드 이상으로 인해 연계되어 나타난 문제인 줄 알았다. 자동 마운트가 되지 않던 하드디스크는 FTP 스토리지용으로 쓰는 하드였는데, 수동마운트는 아주 잘 되었고 저장된 파일도 문제없이 액세스 할 수 있었기 때문이다.

... 하지만 결과적으로 그건 오판이었고, 자동마운트가 되지 않던 하드는 며칠 뒤에 뻑나서 데이터가 깨져버렸다. 그걸 또 복구하느라 추가적으로 2주정도의 시간이 더 소요되었다.

- 자동마운트가 되지 않는다는걸 발견한 직후 바로 데이터를 백업한 다음 배드섹터 검사를 한 뒤 로우포맷 했어야 했다.


하드디스크 이상을 감지하고 서버의 스토리지 구조를 개선할 필요를 느꼈다. 뻑난 하드디스크는 FTP 스토리지용이었는데, 상당히 중요한 자료들이 저장되어 있었다. 그간 찍은 사진들부터 포함해서 문서, 학사, 프로그램 설치파일 등등..

이 정도 중요도라면 RAID 구성을 했어야 되는데, 하드디스크도 없고, 여태까지 외장하드 혼용으로 사용하고 있던 터라 그럴 생각을 못 했던 것이다.

뻑난 하드에 담겨 있던 데이터는 다행이도 R-Studio로 100% 복구해낼 수 있었다. 많은 시간이 소요되었다. 배드섹터때문인지 스캔을 할 때마다 복구 가능 데이터가 서로 다르게 나타났기 때문이다.


20130408_155249.jpg
▲ R-Studio로 뻑난 하드를 복구하던 중, 이를 빠득빠득 갈며 주문한 1TB짜리 하드디스크 두 개


평소 스토리지 하드의 용량이 부족하다고 느꼈던 터라 이번 기회에 1TB짜리로 바꾸기로 하고, 동시에 RAID-1을 구축했다. RAID-1은 Mirror 방식으로, 두 개의 하드디스크에 똑같은 데이터가 기록되는 형태이다. 즉, 데이터 목숨(?)이 두 개가 된 것.


하드디스크를 주문하면서 인두기도 함께 주문했다. 원래 쓰던 인두기는 3년전 입대하기 직전에 전동커튼을 만들면서 히터가 부러지면서 운명하셨다. 전자공학도가 무려 3년동안 인두기를 안 갖고 있었는데, 이건 솔직히 좀 반성할 일인 것 같다.ㅡㅡㅋ

여튼; 새로 인두기를 사는 판에 기왕 온도조절이 되는 좋은걸로 사려고 인터넷을 뒤지던 중 마음에 딱 드는 걸 발견했다. 핸디형 온도조절 인두기였는데, 가격이 무려 3만원이면서 210~450도까지 조절이 가능했다. 한 가지 흠이 있다면 중/국/산/ 이라는 점이었는데, 인두팁만 나중에 호환되는 일제 인두팁으로 바꿔서 쓰기로 작정하고 덜컥 구입해 버렸다.

- 그때 한 결정이 엄청난 후폭풍이 되어 돌아올지는 꿈에도 몰랐다. 나중에 완성되면 포스팅하겠지만, 그 때 그 결정으로 인해 나는 지금 온도조절 인두기를 만드는 프로젝트를 진행하고 있다. 더불어, 인두기 배송이 3주나 걸리는 바람에 그 공백기간에는 무늬만 핫스왑 베이로 되어 있던 서버 케이스를 개조하여 진짜 핫스왑 베이로 바꿔 버렸다. 그 삽질의 향연도 다른 포스팅에서 다룰 것이다...ㅜㅠ


주문한 인두기는 당시 터진 CJ-대한통운 통합 사태때문에 배송에만 일주일이 걸렸다. 게다가 초기불량(220V에 꽃자마자 인두기 전원부가 폭발;;해 버렸다.)이어서 교환을 받는데, 이번에는 재고가 없어서 거의 2주일을 더 기다려야 했다. 결과적으로 4월 초에 주문한 인두기를 4월 말엽이 되어서야 받았고, 그제서야 VGA 수리작업을 진행했다.


20130427_004242.jpg
▲ 오른쪽에 있는 파란색 불 켜진 투명한 물체가 3만원짜리 중국산 온도조절 인두기이다. 엄청난 후폭풍을 몰고 온.ㄷ


그러나 이번에는 인두팁이 말썽이었다. 캐패시터 한개를 겨우 떼어냈는데, 인두팁이 못 봐줄 정도로 새카맣게 타 버린 것이다. 예초 계획대로 호환되는 인두팁을 구매하려고 했는데, 그런게 존재하지 않았다. 이런 중국산ㅡㅡ^


20130503_213746.jpg
▲ 결국 집근처 전자상가에서 싼 인두기를 구입해서 VGA를 수리했다.


본래 폭발한 캐패시터는 마이카 캐패시터였는데, 다시는 절대로 또다시 폭발하지 말라는 뜻에서 같은 용량의 솔리드 캐패시터로 교환했다. 여분까지 확보한 것은 물론이고, 작년에 교환했던 나머지 3개 마이카 캐패시터와 같은 용량의 솔리드 캐패시터도 확보해 두었다.


20130503_214432.jpg
▲ 커다란 방열판 대신 쿨러가 달린 소형 방열팬을 장착했다.


원래 이 그래픽카드는 방열팬이 달려있지 않고, 대신 기판 전체를 덮는 커다란 방열판이 장착되어 있었다. 이게 캐패시터 윗부분을 감싸는 구조로 되어 있어서 캐패시터 온도를 상승시켜 폭발에 이르게 했을 것이다. 마침 VGA 기판에 쿨러 커넥터가 있길레, 대형 방열판을 떼버리고 집에 굴러다니던 VGA용 소형 방열팬을 장착했다.


아무리 생각해도 이 3만원짜리 싸구려 VGA는 정말 주인을 잘 만난것 같다. 아마 다른 사람이었으면 첫번째 폭발했을때 단번에 저 멀리 창밖 쓰레기통으로 내팽개쳐졌을텐데.


20130508_224325.jpg
▲ S/W 복구작업 진행중


서버 하드웨어 수리 및 구성을 마치고 나서는 책상 옆 발밑에 갖다놓고 약 일주일에 걸쳐서 OS 설치 및 소프트웨어 세팅, 데이터 복원 과정을 거쳤다.

OS 설치 및 SSH 세팅만 하고 거실에 설치한 다음 방에서 원격으로 나머지 세팅을 할 수도 있었지만, 그렇게 하다가 하도 갑갑질나서 결국 이렇게 가져와서 작업을 했다. 작년에 서버 복구하면서 만들어놓은 메뉴얼이 있긴 했지만, 그동안 서버 기능을 많이 확장했던 터라 하나도 안 맞았다. 결국 메뉴얼을 '참조'했다기 보다는, '새로 쓰면서' 서버 복구를 진행했다.


20130520_005754.jpg
▲ 복구 완료 후 정상 서비스중인 TUWLAB.com 서버


이렇게 해서 고장부터 수리&복구 완료까지 2달에 걸친 대장정이 막을 내렸다. 이 포스팅을 쓰는 시점은 6월 중순이지만, 서버 복구 완료는 5월 20일경에 마무리 되었다.

서버 복구는 완료되었지만, 그 과정에서 파생된 온도조절 인두기 제작 프로젝트는 아직도 현재진행형이다. 이것도 중간에 삽질을 너무많이 해서 대체 언제 마무리가 될지는 아직도 잘 모르겠다. 이제 ATmega8 꼽고 프로그램 짜야되는데..

TUWLAB.com 서버는 예전에는 주로 웹서버 용도로 사용하고, FTP를 통한 소규모 자료저장 기능 정도만 활용했지만, 이제 규모도 커졌고 더욱 다양한 방면으로 활용하고 있다. 기존 웹 서버 및 파일서버 기능 외에, 토렌트 시딩머신, 데스크탑-노트북-스마트폰의 실시간 동기화 폴더 중계 서버 역할도 수행한다.

앞으로 시간이 갈 수록 이 서버로 하게 될 일들이 많이 늘어나게 될 것이다. 이 서버로 작은 수익사업이라도 해서 전기요금이라도 커버하자는 생각이 요즘 드는데, 글쎄. 잘 모르겠다.ㅎㅎ


서비스 선택
이용중인 SNS 버튼을 클릭하여 로그인 해주세요.
SNS 계정을 통해 로그인하면 회원가입 없이 댓글을 남길 수 있습니다.
댓글
?
Powered by SocialXE

  1. 27
    Nov 2014
    20:58

    [비행 시뮬레이션] TrackIR Head Gear 제작과 FreeTrack(프리트랙) 연동

    TrackIR은 적외선 카메라로 전방에 나타난 적외선 광원을 추적해서 광원이 움직이는 방향으로 화면에 나타난 시점을 이동해 주는 장치이며, 비행 시뮬레이션과 같이 자유로운 시선의 이동이 중요한 게임에서 반드시 필요한 장비입니다. 비행 시뮬레이션 중에서...
    Category일반 ByTUW Reply0 Views5923 file
    Read More
  2. 25
    Nov 2014
    03:24

    [비행 시뮬레이션] Falcon 4.0 Allied Force 입문기

    제가 비행시뮬레이션을 하고싶다고 생각한건 아주 오래 전의 일이지만, 그 동안 특유의 절제력을 발휘해서 미루고 미뤄 왔었습니다. 학부생이라 딱히 바쁜.. 것은 아니지만, 제 성향이 무엇인가 하나에 푹 빠지면 끝까지 뽄때(?)를 보는 성격이라 참아야만 했...
    Category일반 ByTUW Reply0 Views10753 file
    Read More
  3. 13
    Jul 2013
    01:15

    이리고등학교 전경

    목천동 벚꽃길에 다녀오는 길에 잠깐 들른 이리고등학교- 지난 겨울 시작했던 건물 증축공사가 마무리되어 학교 건물이 새로 지은듯 한 착각을 불러일으킬 정도로 많이 삐까번쩍해져 있었다. 내가 다닐때에 비하면 시설이 정말 좋아진 것이다. 내가 졸업하고나...
    Category일반 ByTUW Reply0 Views13011 file
    Read More
  4. 05
    Jul 2013
    00:10

    컴딜 CD-206S LP 랙마운트 핫스왑 패널 제작

    핫스왑이라고 하기엔 다소 민망한 하드랙을 제대로 된 핫스왑 베이로 만들기 위해 직접 제작하기로 작정하고 약 5일간에 걸친 삽질에 돌입하게 되었습니다. 모든 설계는 정확한 치수의 측정에서부터 시작합니다. - 하드디스크를 장착한 상태에서 커넥터들과 볼...
    Category일반 ByTUW Reply0 Views16954 file
    Read More
  5. 04
    Jul 2013
    22:38

    컴딜 CD-206S LP 랙마운트 조립

    TUWLAB 서버는 사실 서버용 PC가 아니고, 서울에서 학업 목적으로 조립한 2008년식 데스크탑 컴퓨터이다. 윈도를 설치해서 데스크탑으로 쭉 사용해 오다가 군휴학과 함께 익산으로 나와 함께 내려왔다. 그리고 그 후로 한동안 휴가때마다 6주 간격으로 켜지는 ...
    Category일반 ByTUW Reply0 Views16646 file
    Read More
  6. 17
    Jun 2013
    00:16

    TUWLAB.com 서버 복구 - 그리고 수많은 인터럽트

    잘 돌아가던 서버가 갑자기 이상행각을 보이기 시작한건 지난 4월 초순경이었다. 돌연 홈페이지 접속이 되지 않아 서버 상태를 점검하려고 모니터를 켰지만 아무 화면도 나타나지 않았다. [..] 강제 재부팅 후 화면이 뜨긴 했는데 상태를 보니, ① 다운클럭을 ...
    Category일반 ByTUW Reply0 Views14797 file
    Read More
  7. 23
    Mar 2013
    18:10

    [기획] 공군 최전방 : 항공기 무기정비 (41610)

    공군 최전방?이 포스트의 제목을 클릭하고 들어온 사람들은 아마 '공군 최전방'이라는 말에 갸우뚱 했을 것이다. 이미 널리 알려져 있듯이, 공군 부대는 육군과 달리 휴전선 인근에 가까이 위치하지 않는다. 대부분 후방지역 대도시 인근 공항에 붙어 있는 경...
    Category일반 ByTUW Reply3 Views18712 file
    Read More
  8. 23
    Mar 2013
    18:03

    [기획] 미군과 함께 생활하는 38전대 이야기

    우리나라에서 군 의무 복무를 해결하는 방법은 여러 가지가 있지만, 면제나 공익과 같은 대체 복무를 제외하면 가장 좋은 테크는 단언 '카투사'입니다. 까다로은 지원 조건 없이 공인 영어 성적만 보고 무작위로 뽑기 때문에 군 복무를 고민하는 미필이라면 다...
    Category일반 ByTUW Reply0 Views15220 file
    Read More
목록
Board Pagination Prev 1 2 3 4 5 Next
/ 5

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5