2015.02.03 ... 피의 화요일..
아침부터 느낌이 심상치 않았다. 사실 며칠전부터 그랬다. 최근에 웹페이지 제작 프로젝트를 지원하게 되면서 서버의 성능이 나오지 않아 여러가지 고민을 하고있던 터였다. 그러다 오늘 ...
아침 6시 50분. 잠에서 깨고 자연스레 핸드폰을 보니 메시지가 한통 와 있었다. 카톡도 아닌 메시지가...
'이 시간에 누가 메시지를 보낸거지?'
보낸시각 : 12시 34분 - 다행인지 전날 12시 땡! 하고 잠이 들었었다
"새벽에 죄송합니다. 내일 출근하시면 서버확인 부탁드립니다. 메모리 부족떠서 확인 불가능하네요.."
그렇다. IBM P5 510. 개발서라곤하지만 애초에 성능이 펜티엄급인 녀석에게 무리하게 톰캣 메모리 사용량을 512MB나 할당해버린터라 불안하던 차에 결국 서버가 뻗어버린듯했다. 혹시나 하는 마음으로 노트북 전원을 켜고 securecrt를 켜서 서버 ip를 입력하고 enter를 누르니... 이런 젠장. 접속이 불가능하다. '핑은 나가나?' 핑은 나간다.. 행이구나. 메모리 부족으로 허덕이다 결국 행에 걸려버린 서버였다.
'후.. 이제 그럼 어떻게 하지?'
엔지니어라곤하지만 실상 할줄 아는거라곤 리눅스 명령어 몇 줄 입력하는게 다인 나라서, 특히나 이런 급작스러운 시츄에이션은 경험이 없어 슬슬 마음이 다급해지고있었다.
'아니다, 상용서버가 아니니까 급하게 마음먹을거 없다. '
라는 생각으로 마음을 다잡고 부장님께 전화를 걸었다.
"부장님 안녕하세요. 개발사에서 연락이 왔는데 개발서버 접속이 잘 안된다고 합니다. idc로 출근해서 서버 좀 확인해야할 것 같습니다"
"어 그래, 그쪽으로 출근하고 이상있으면 연락해라"
idc는 회사보다는 가까운 곳에 있어서 기분좋게(?) 평소보다 늦게 집을 나섰다. 조금 늦게 지하철을 탔건만 아직 지옥철인건 변함이 없었다. 사람들 사이에 끼어 가산디지털단지역을 나왔다. idc에 도착해서 관리업체에 연락하고 로비에서 기다리면서 서버실에 들어가서 할 일을 생각해보았다.
'서버에 콘솔을 붙여보고, 안붙으면 usb to serial로 붙여보고 붙으면 명령어들 입력되는지, 서버가 동작하는지 확인해보자. 그나저나...오늘은 몇시에 서버실에서 나올 수 있을까?'
사실 이미 aix라는 녀석한테 한번 크게 데인적이 있었다. 몇 달쯤 전 일이었는데, 부장님이 본사로 호출을 해서 개발서버를 하나 세팅하는데 aix에 apm을 설치해보라고 하셨다.
'뭐, apm이야 지겹에 깔았지, 이거하고 문서정리나 해야겠다~'
그 후 3일간 집에도 못가고 서버실에서 aix에 apm 설치를 시도했고 금요일부터 시작해서 일요일 점심즈음에 설치를 하고 집에 들어갈 수 있었던 잔혹한 역사가 있었다. 그리고 오늘, 그 때의 aix 서버와 다시 한번 만나게 되는 순간이었다.
담당자가 도착했고, 간단한 출입절자 후 서버실에 들어가 서버를 콘솔에 붙일 수 있었다.
'오, 콘솔에 불이 들어오는구만! 오늘 작업은 순조로워~'
- 아시는 분은 아시겠지만, 예~전 장비들은 시리얼을 기본적으로 지원하고 현재 우리가 사용하는 DVI를 사용하는 콘솔(KVM, 서버 모니터 등)을 지원하지 않는다. 이 말을 이해하지 못한다면 심심한 위로의 말을 전하고 싶다. 이렇게
'ㅋㅋㅋ 고생하세요~'. (미안합니다 ㅋ 워낙에 크게 데인 상처라 저도 모르게)
결론부터 말하자면, 답은 서버 뒤쪽을 확인해보면 알 수 있는데 더 쉽게 설명하면, 우리가 데스크톱 과 모니터를 연결할때 꽂는 DVI포트를 알고 있으리라 생각한다. DVI포트는 3줄로 5개정도씩 구멍이 뽕뽕뽕~ 뚫려있고 본체에 연결하고나서 뒤에 손으로 돌려서 잠그는게 2개있는 그 포트인데, 그게 모니터로 그래픽 신호를 보내고 모니터는 그걸 출력해 준다. 대부분의 서버와 모든 데스크탑은 현재 그 DVI 포트와 케이블을 사용하고 있다. 하!지!만! 서버에는 다른 포트가 하나 더 존재한다. 그것이 바로 시리얼 포트라는 건데 이게 서버에서 기본적으로 지원하는 포트다. 그래서 옛날 서버들은 DVI 포트가 없고 DVI 포트를 추가할 수 있는 슬롯만 있다. (내가 고생했던 서버 역시도 그러한 케이스로 나중에 DVI포트를 추가한 케이스이다 - 콘솔 붙이는데 하루 걸렸다... 이 고생은 정말 하지 마시길 바란다.. 공부 잘~해서 좋은 환경만 있는 곳에서 일하시길 바래요 ㅎㅎ)
DVI 포트는 나중에 추가했기 때문에 서버는 기본적으로 시리얼을 바라보고 있고, 콘솔로 붙이기 위해서는 DVI포트로 신호를 넘겨야 사용이 가능하다, 그리고 한번에 한 방향으로만 통신이 가능하다. 그!래!서! 이런 서버들은 콘솔을 바로 붙이면 아~무런 반응이 없다. 심지어 콘솔 키보드나 마우스에 불도 안들어온다. 정말 당황스러울 것이다.(콘솔이 안붙으면 어쩌라는 거냐 정말 ㅋㅋㅋㅋ). 물론 최신 서버들은 그런 문제는 거~의 없다. 전혀 없다고 생각해도 무관할 정도로... 어찌되었든 콘솔로 붙이려면 먼저 usb to serial이라는 시리얼로 붙일 수 있는 케이블을 연결해서 시리얼로 통신하는 도중에 콘솔을 서버에 붙여 콘솔에도 신호가 흘러가게끔하면... 짜잔~ 하고 콘솔에 드디어 불이 들어온다. 그 때에 콘솔로 무언가 신호(마우스 클릭이라던지, 키보드를 건들던지)를 보내면 이번엔 반대로 시리얼 연결이 끊어지고 콘솔에서만 신호를 주고 받게된다. 이게 내가 하루동안 고생한 결과물이다.(다른 분들은 꼭 고통받지 않으시길 바란다) -
서버에 접속해서 콘솔을 보니 무언가 반응이 있었다. gui 화면이었는데 키보드로 단축항목을 이동하면 이동이 되었다. 리눅스만 사용하다가 aix gui화면을 보니 뭐가 뭔지는 잘 모르겠지만 Terminal 항목을 찾았고 실행을 시켜보았지만 알 수 없는 에러가 발생했다. 다른 모든 항목들도 마찬가지였다. 어찌되었든 서버가 정상은 아니라고 판단했고, 종료를 하려했으나 별다른 종료버튼을 찾지못해 콜드리붓을 시도했다. 서버를 종료하고 다시 켰다. 이제부터 또 하나의 관문이 기다리고 있다.
당황스럽게도 aix는 부팅이 굉장히 오래 걸린다. 왜인지는 모르겠다. 그게 정상인지도 모르겠다. 내가 아는 유일한 사실은 부팅이 오래걸린다는 것뿐, 게다가 ibm장비는 op pannel로 부팅을 조정할 수가 있는데, 이게 또 상당히 골때린다. op pannel은 서버 앞단에 붙어있는 말그대로 패널이나 op는 오퍼레이팅? 오퍼레이터? 옵틱? (머 용어가 중요한 건 아니니까). 아무튼 그걸로 부팅을 조절하는데 각각의 숫자가 있고 숫자마다 부팅옵션이 다르다. 예를 들어 11번은 파일시스템 체크를하고 부팅을하고 1번의 VF는 패스트 부팅이고, 머 이런 것들인데 불행히도 이날 나는 이 사실에 대해 잘 모르고 있었다. 하..
부팅을 시키고 콘솔 모니터를 보니 뭔가 하얀화면이 나왔고 부팅이 되는것 같길래 멍하니 지켜보고 있었다. 10분이 지나고 20분이 지나도 더 이상 진전될 기미가 보이지 않았고, 그때까지만해도 op pannel은 그저 상태를 보여주기만하는 패널이라고만 생각했던 나는 돌이킬 수 없는 실수를 저질렀다. 거기에 있는 3개의 버튼을 마구 눌렀다. 뭔가 숫자가 막 바뀌었고 어느 순간 더 이상 숫자마저 변경되지 않았고, 파워버튼을 눌렀을 때 나는 내가 무언가 굉장히 잘 못했다는 것을 깨달았다.
'덜컹, 이렇게 또 고난의 하루가 시작되는 것인가?'
하.. 서버가 꺼지질 않는다. 함부로 건들만한 패널이 아니었던 것이었다. 단순히 상태를 표시하는 화면이 아니었던 것이다. '후.. 오늘도 기약없는 싸움이 시작되겠구나'라고 생각하는 순간! 전화가 울렸고 상대는 부장님이었다.
"어 그래 idc 안에 있니?"
"네 지금 들어와 있는데..."
"어 이따가 서버 한대가 들어갈거야"
"네?"
"개발서버를 하나 임대해서 이따 서버를 한대 입고할거거든? 니가 입고 절차좀 진행해야겠다"
"아~ 네, 알겠습니다"
"이사님 전화번호는 문자로 찍어줄거고 연락해서 서버입고 진행해라"
"네 알겠습니다"
'개발서버가 후달려서 고생하더니 결국 임대를 했구나... 이 서버는 어쩌지, 이 어정쩡한 상태로 냅둬야하나? 일단, 이게 중요한게 아니니까 나중에 생각하자'
생각을 정리하고 담당 대표이사님과 연락을 하고 서버가 언제들어오는지 서버 모델명이나 스펙등은 어떠한가 등을 물어봤다. 젠장 4u란다. 우리회사는 중소기업이라 idc안에 랙 반개만 쓰고 있는데 그래서 자리도 별로 없는데 4u를 어따 넣어야 할지, 거기에 필요한 선반 같은건 어찌해야할지.. 막막하다.. 일단은 상황을 정리해보자.
1. 1-2시간 후에서 4u 장비가 들어온다
2. 그 서버를 마운트 하고 ip등 환경설정을 하고
3. apm을 설치한다.
4. 완료됐다는 보고를 하고 집에간다~
좋아~ 오늘은 일찍가자라는 생각을 하고 apm 설치에 대한 정보만 노트북으로 뒤져보았다
다시한번 말하지만 aix에 apm 설치는 결코 쉽지 않다. 정말로 리얼리 어렵다. 각오 단단히 해야한다.
2시간이 지나고 서버가 도착했다는 연락을 받고 서버를 서버실로 가지고 들어와 어찌어찌 선반을 달 공간을 마련해서 랙에 마운트했다. os는 깔려서 왔기때문에 os를 설치할 필요는 없었다. (aix는 os 설치하는데도 오래걸린다. 기억이 가물가물한데 75~80분정도 걸렸던듯하다. 진짜 골때리는 os다)
이전의 기억을 더듬어 rpm으로 설치를 준비했다.
사실 지금까지의 문제와 고생했던 것들은 문제거리도 아니다. 진짜 문제는 지금부터다. aix는 정~말 골때리는 os다. 무엇이 문제였는가?
1. aix는 망할 gcc버그가 있다. apache를 소스컴파일 하겠다는 꿈은 접어라. gcc를 설치하려면 aix용 gcc를 따로 구해서 깔아야 하는데 이것 역시도 버그가 있다. 물론 일반 gcc를 깐다면 죽어도 소스컴파일 못할 것이다.
2. yum? yum은 신이 내려준 선물이다. aix는 당연히 yum 따위 지원하지 않는다. 따라서 우리는 rpm설치에 도전해야 하고, 이제부터 rpm dependency hell의 세계에 들어가게 된다.
3. welcome to the dependency hell~ 나중에 계속