온라인 게임에서 사례로 살펴보는 디버깅 in NDC2010

온라인 게임에서사례로 살펴보는 Debugging NDC 2010 NCsoft 박일 http://parkpd.egloos.com twitter:rigmania

디버깅과 섹스의 공통점 잘하면 재미있지만, 잘못하면 짜증난다. 하면 할 수록 늘지만, 너무 자주 하는 건 싫다. 밤늦게 할 때가 많다. 대놓고 얘기하진 않지만 남들은 어떻게 하는지 궁금하다. 교제가 거의 없다. 과정은 신경쓰지 않고, 어서 결론에 도달하려고 한다. 도구를 사용하면 도움은 되지만, 결국 사람이 해야 한다. 술을 많이 마시고 하면 다음날 어떻게 했는지 기억이 나지 않는다. 끝나고 나면 허무하고 담배가 땡긴다. 급할 때는 더 안 된다.

재현 진단 수정 및 반영

왜 재현부터? 버그가 나타날 때의 프로그램 상태를 볼 수 있다. 버그를 수정했을 때, 정말 수정했는지를 증명할 수 있다. QA팀이 재현 가능해야 한다.

환경 만들기 재현할 때는 문제가 되는 환경을 전부 똑같게 설정 파일, 이벤트 파일 확인, 하드웨어, OS 버전, 보안 프로그램 동작 여부 택배로 컴퓨터를 받아오기 해외에 설정 파일을 암호화해서 보내기 (3개월 전의) 해외 버전을 국내에도 유지하면 회귀 테스트 하기가 쉽다 이번 업데이트 이후 바뀐 것인지 테스트 가능

사례 - OpenMP 한 대의 컴퓨터에서만 에러 발생 알고 보니 특정 머신(하퍼타운4 cores)에서만 에러 발생. 이유는? 실제로 코드가 thread-safe 하지 않았음 제대로 MT 를 지원하는 머신 몰랐던 이유는? Core2 Duo 에서는 멀쩡함. 버그? 하퍼타운을 쓰는 다른 개발자는 설정에서 omp사용을 빼 놨기 때문에 에러 없었음

사례 보고! 현상은 원인이 있기 때문에 나타난다 정상적인 재현이 불가능하면, 억지로라도 재현한다 버그 report 를 그대로 믿지 마라 QA 에서도 아는 선에서 리포트를 쓴다 QA 분께 개인용 개발서버로 접속해서재현해 달라고 부탁한다 msn 과 사내전화 활용

사례 – 희귀 아이템 경매 라이브 서버가 아닌 테스트 서버, 그 중 한 npc에서만 발생 재현도안 되어서, 별 문제 없겠지 생각하고 무시 업데이트 후에 전 라이브 서버에서 문제 발생 이유 : 라이브 서버에서는 처음에 개발자가 직접 seed 값을 넣어줘서 경매에 문제 없었지만, 테스트 서버의 경우 개발자가 여러 npc중 한 npc만 까먹고 seed 값을 넣어주지 않았기 때문에 계속 문제가 있었음 처음부터 문제가 있었는데도, QA 에서는 ‘잘 되다가 저번 주부터 문제가 생겼음’ 이라고 보고했고, 개발팀도 QA 만 믿고특이한 사례보고라고 생각함 대규모 업데이트를 위해 모든 seed 값을 초기화했더니, 테스트 서버와 동일한 문제가 모든 npc에서 발생 [사례보고] 라는 제목 때문에 선입관 생김

사례보고를무시하면한 방에훅 간다

사례 – 공성과 결자해지 voidLoadData(){ // do something¡¦ CCastlec(nCastleNum);// dead code??? return; }

사례 – 공성과 결자해지 voidLoadData(){ // do something¡¦ CCastlec(nCastleNum);// dead code? NO!!! return; } classCCastle{ public: CCastle(intn){ g_CastleDB.Register(this); } };

사례 – 기계는 믿을 수 있는가 특정 머신, CPU, 그래픽카드, NIC

버그 찾기 dump 로 Crash 난 위치 확인 최근에 고친 파일부터 diff 이상현상이 생긴 시간대 근처 에러로그 확인 내가 고친 코드를 먼저 의심 다른 사람과 얘기해보자 피규어 디버깅 어셈블리는 마지막에 서버라면 실제 라이브 서버를 터미널 서비스로 들어가 작업관리자로 보기

Everybody lies false positive(거짓양성) 예전 바이너리를 쓰고 있다던가 false negative(거짓음성) QA가 고쳐지지 않은 걸 고쳐졌다고 한다 플라시보 효과 예전부터 있던 코드도 100% 믿지 말자 모든 걸 의심하자

minidump출력 Crash 이메일 전송 개발망에서도개발망email 로 전송 소스 컨트롤러에 날짜_Label 로 폴더 만든 후 바이너리, pdb를 저장 Symbol 서버 구축하기 장,단점

Base Line 지금 상태는 정상인가? 평소 CPU 는 몇 % 정도였나? 의도대로 최적화가 되었나?

Performance Counters Counter 를 log 나 DB 에 주기적으로 저장해 base line 를 만든다 counter 예시 SQL Server: SQL Statistics: Batch Requests/sec 초당 요청 받은 SQL 배치 요청 수 SQL Server: Buffer Manager: Buffer Cache Hit Ratio 90 이상이면 좋음 SQL Server: Locks: Lock Waits/sec 잠금대기요청수 Process: Page Faults/sec 프로세스가 Cache Hit하지 않은 페이지수

볼 수 있으면 고칠 수 있다

Visualizer (Visual Studio 2005)

Visualizer in C++ autoexp.dat으로 watch 창 변경 C:rogram Filesicrosoft Visual Studio 8ommon7ackagesebuggerutoexp.dat [AutoExpand] CMyData =head=<m_Head> m_Tail=<m_Tail,x> name=<m_Name,su> classCMyData{ public: CMyData(inth,intt): m_Head(h),m_Tail(t){} intm_Head; charm_Name[1024]; intm_Tail; }; int_tmain(intargc,_TCHAR*argv[]){ typedefvector<CMyData*>DataList; DataListdata; for(inti=0;i<10;++i){ data.push_back( newCMyData(i,i+1)); } return0; }

Debug Windows 1 {[function],[source],[module]} 뒤에location, variable_name, expression 특정 함수의 static local 변수 보기 void Test() { static intsLocalNum = 0; } : {Test,,}sLocalNum 특정 dll의 전역변수 : {,,foobar.dll}g_pMyStruct BP 걸어놓고 함수 실행하기 classCTest{ public: staticCTest&Inst(){ staticCTests; returns; } voidCheckValidate(){ OutputDebugString(L"T"); m_Test.push_back(1); } std::vector<int>m_Test; }; int_tmain(){ CTest::Inst().CheckValidate(); return0; }

Debug Windows 2 Pseudo Register @eax : 리턴값 @err : GetLastError @HANDLES 현재 프로세스의핸들 갯수 @ebp : 지역 변수시작 지점 @esp : 최상위 스택

사례 – Bot voidCPlayer::OnItemExchange( intnItemCount1,BYTE*pData1, intnItemCount2,BYTE*pData2) { for(inti=0;i<nItemCount1;++i){ // do something } for(inti=0;i<nItemCount2;++i){ // do something } }

Fuzzing Test 임의의 입력을 만들어 주는 Fuzzer 사용 Peach Fuzzing Platform http://peachfuzzer.com/ generation 과 mutation 으로 입력값 생성 RFuzz http://rfuzz.rubyforge.org 일종의 monkey test

Bug? (1.0<a.hP)=false (1.0>=a.hP)=false

Bug? (1.0<a.hP)=false (1.0>=a.hP)=false NaN(Not a Number) double answer = sqrt(-1.0);

structCData{ static const intHALF_NUM=0x7fffffff; static const intMAX_NUM=0xffffffff; CData():m_dPoint(1.0){ m_dData[0]=1.3; m_dData[1]=1.5; m_nData[0]=HALF_NUM; m_nData[1]=MAX_NUM; } voidApplyBonus(intnBonusIndex){ m_dPoint*=m_dData[nBonusIndex]; } doublem_dPoint; doublem_dData[2]; unsignedlongm_nData[2]; }; int_tmain(intargc,_TCHAR*argv[]){ CDataa; a.ApplyBonus(2); wcout<<L"isnan : "<<_isnan(a.m_dPoint)<<L''; wcout<<L"(1.0 < a.Point) : "<<(1.0<a.m_dPoint)<<L''; wcout<<L"(1.0 >= a.Point) : "<<(1.0>=a.m_dPoint)<<L''; return0; } // output isnan:1 (1.0<a.Point):0 (1.0>=a.Point):0 -1.#R, -1.#QO, -1.#QNB, -1.#QNAN (%.2~5f 로 출력했을 때의 결과)

사례 – 메모리 침범 classCTest{ public: conststaticintMAX_DATA=10; intm_Data[MAX_DATA]; vector<int>m_Nums; }; int_tmain(intargc,_TCHAR*argv[]){ CTestt; t.m_Nums.push_back(1); ZeroMemory(t.m_Data,sizeof(int)*CTest::MAX_DATA+10); t.m_Nums.push_back(1);// Crash return0; } #include <boost/array.hpp> int_tmain(intargc,_TCHAR*argv[]){ intcArray[256]; boost::array<int,5>aTest={1,2,3,4 ,5}; boost::array<int,256>aArray; cArray[256]=0;// not always die aArray[256]=0;// always die // Assertion failed: i < N && "out of range", file , line 91 return0; }

여러 가지가 정보다 에러 로그가 찍히는 주기 CPU 가 튀는 주기 로그에 찍힌 캐릭터의 위치와 시간 이렇게 빨리 이동했다는 것은? 개발자에게 GM 용 캐릭터를!

사례 – 언제 문제가 발생했나? 특정 시각? 특정 요일? CPU 가 튀는 주기는? 게임 서버가 새벽 2시만 되면 죽었던 이유는? Windows Update 가 새벽 2시에 실행 바이러스 update 창이 200 개 이상 오픈 같은 port 를 bind 계속하면 port 차단 서버관리툴이 실행될 때마다 특정 port 를 bind 하게 설계 일본 IDC 에서 꼭 설치하게 하는 패킷 필터링 시스템의 DDOS, Garbage Attack 탐지기가 해당 port 를 차단 얼마만에 죽는가 특정 tick 에 죽는 잘못된 코드와 memory leak Printf대신 사용한 로그 파일이 엄청나게 커짐 Memory leak은 아니지만, 너무 많은 메모리 할당 결국 일본 찾아가서 해결

가와사키(Kawasaki) 이야기 Kawasaki 의 제트 스키

가와사키(Kawasaki) 이야기 Kawasaki 의 제트 스키 새로 나온 제트 스키

해결책에는 여러 가지가 있다(있어야 한다) 펫, 소환수 자동 소환 09.09.09 라이브 업데이트 펫인벤 아이템을 언제 주인에게 옮겨줄 것인가? 진짜 옮겨야 하나?

로그 ,[object Object],너무 많은 로그는 노이즈+ 에러다 [NO_ERROR] 교훈 모든 로그는 unique 해야 한다 하다못해 __FILE__, __LINE__ 만이라도 ,[object Object],필요하면 id 와 item 클래스 아이디,심지어 캐릭터 이름 같은 경우 문자열로 남긴다 해외의 경우, 로그 접근을 직접 할 수 없거나 대응이 너무 느릴 수 있으므로 특히 주의

버그 기록 및 공유 버그 트래킹 툴에 FIX 할 때, 실제로 어떤 코드를 왜, 어떻게 고쳤는지 정보를 남긴다 누구보다 내가 나중에 그 정보를 필요로 하게 된다 일일회의 할 때 실수를 용기있게 공유한다 고참 개발자일수록 먼저 일일회의 내용을 각자 위키에 써 놓으면, 코드 변경 히스토리에서 버그를 만든 날짜에 내가 뭘 하려고 했는지를 알 수 있다 해결한 문제에 대해, 원인-해결책을 시간, 문제별로 정리해 놓으면, 몇 달 후 해외에서 같은 문제가 생겼을 때 빨리 해결할 수 있다.

좋은 코드 작성하기 voidTest1(CTest*p){ // do something } voidTest2(CTest&t){ // do something }

voidTest1(CTest*p){ if(p){ Test1_1(p); }else{ // do something } } voidTest1_1(CTest*p){ if(p){ // do something } } voidTest2(CTest&t){ Test2_1(t); } voidTest2_1(CTest&t){ // do something }

버그의 비용 Source: Coverity White Paper

버그 미리 찾기 _ASSERT !! Magic bit 사용 int 를 int64 로 바꾸면서 magic bit 끼워넣기 특정 bit 가 1 이 아니면 crash 정기적인 코드 리뷰 코드리뷰 별 거 아님 정적 분석툴과 CI 연동 일일빌드(TeamCity, CruiseControl.Net) Code Analysis pc-lint PMD Copy/Paste Detector

Code Analysis ,[object Object]

포인터에 대한 사용 주의 경고, 중복된 변수 선언

묵시적 Type Casting, sprintf 의 인자 개수 체크

단 x64 는지원하지 않으므로 편법을 좀 써야 함longlData[10]; sValue.Format("%d",lData[10]); warningC6201:Index'10'isoutofvalidindexrange'0'to'9'forpossiblystackallocatedbuffer'lData¡¯ voidCTest::DrawData(CDC*pDC){ ASSERT(pDC); pDC->FillSolidRect(rect,RGB(255,0,0)); } CRectrcTmp; for(...){ CRectrcTmp; }

단위 테스트 적용 사례 사례 - 활 쏘기 활은 레이저 빔이 아니다 활은 포물선을 그리며 날아간다 그럼 이런 경우는?

해결방법 structTestBowData { Pos from; Pos to; bool expect; }; TestBowData data[] = { { {10, 20, 10}, {100, 40, 50}, true}, // 성공해야 함 { {334, 13, 314}, {525, 11, 42}, false}, // 실패해야 함 …. }; for (inti = 0; i < dataSize; ++i) { TestBowData& d = data[i]; _ASSERT(d.expect == TestCanShoot(d.from, d.to)); }

간단한 Mock 만들기 classCTest{ protected: intm_Test; voidTest(){} }; structCMockTest:publicCTest{ public: usingCTest::m_Test;// 부모 클래스의 멤버를 public 으로 쓰겠다. usingCTest::Test; }; int_tmain(intargc,_TCHAR*argv[]){ CTesta; //a.m_Test = 1; // protected 멤버 변수 접근할 수 없음. //a.Test(); // protected 멤버 함수 접근할 수 없음. CMockTest*pMockTest=(CMockTest*)(&a); pMockTest->m_Test=1;// CMockTest로 강제 캐스팅하면 접근할 수 있음. pMockTest->Test(); // a 가 CMockTest객체가 아니어도 이렇게 쓸 수 있다는 점에 주의 return0; }

Memory Leak Detector #define pbData(pblock) ((unsigned char *)((_CrtMemBlockHeader *)pblock + 1)) #define pHdr(pbData) (((_CrtMemBlockHeader *)pbData)-1) FILE*g_hfileLog=NULL; intAllocHook(intnAllocType,void*pvData,size_tnSize,intnBlockUse, longlRequest,constunsignedchar*szFileName,intnLine){ staticsize_tsizeAlloc=0; _CrtMemBlockHeader*pHead; if(nBlockUse==_CRT_BLOCK)// alloced by c lib returntrue; switch(nAllocType){ case_HOOK_ALLOC: sizeAlloc+=nSize; fprintf(g_hfileLog,"ALLOC%d",sizeAlloc); break; case_HOOK_REALLOC: break; case_HOOK_FREE: pHead=pHdr(pvData); sizeAlloc-=pHead->nDataSize; fprintf(g_hfileLog,"FREE%d",sizeAlloc); break; } returntrue; } int_tmain(intargc,_TCHAR*argv[]){ g_hfileLog=fopen("log.txt","w+"); fprintf(g_hfileLog,"Start"); _CrtSetDbgFlag(_CRTDBG_ALLOC_MEM_DF|_CRTDBG_LEAK_CHECK_DF); _CrtSetAllocHook(AllocHook); fclose(g_hfileLog); return0; } #include <crtdbg.h> #define nNoMansLandSize 4 typedefstruct_CrtMemBlockHeader{ struct_CrtMemBlockHeader*pBlockHeaderNext; struct_CrtMemBlockHeader*pBlockHeaderPrev; char*szFileName; intnLine; #ifdef _WIN64 /* These items are reversed on Win64 to eliminate gaps * in the struct and ensure that sizeof(struct)%16 == 0, * so 16-byte alignment is maintained in the debug heap. */ intnBlockUse; size_tnDataSize; #else /* _WIN64 */ size_tnDataSize; intnBlockUse; #endif/* _WIN64 */ longlRequest; unsignedchargap[nNoMansLandSize]; // followed by: // unsigned char data[nDataSize]; // unsigned char anotherGap[nNoMansLandSize]; }_CrtMemBlockHeader;

Memory Leak Detector Memory Pool 대신 new, delete 를 쓰게 만드는 flag 를 하나 둘 것 이러면 LeakDiag, gflags, UMDH 로 버그 찾기도 훨씬 쉽다

단위테스트와업무 효율

개발자측정에는쓰지 말 것

결론 버그 찾는 법을 수련하자 어떻게든 재현하자 작은 버그도 무시하지 말자 쓰고 있는 툴을 최대한 활용하자 해결책을 최소 2 개 이상 생각해보자 버그를 미리 막을 방법을 만들어보자 단위테스트를 활용하자 서로의 경험을 공유하자

온라인 게임에서 사례로 살펴보는 디버깅 in NDC2010

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 온라인 게임에서 사례로 살펴보는 디버깅 in NDC2010

Similar to 온라인 게임에서 사례로 살펴보는 디버깅 in NDC2010 (20)

More from Ryan Park

More from Ryan Park (6)

Recently uploaded

Recently uploaded (6)

온라인 게임에서 사례로 살펴보는 디버깅 in NDC2010