2011.08.18 am 9:00 ~ am10:30

1. TMMi, TPI 기반
테스팅 프론티어 역량평가 모델 소개와
2010년 평가사례 소개 및 분석 발표
지식경제부 정보통신산업진흥원(NIPA) 부설
SW공학센터 SW공학기술팀
윤형진 수석
(yhjsqa@nipa.kr)

2. 발표순서
I. 서론
II. 테스팅 프론티어 역량 평가 모델(TCAM) 소개
 기반 평가모델 - TMMi, TPI
 TCAM의 구조
 TCAM의 Process 및 도구(Checklist, Report)
III. 역량평가 사례 소개
 2010년 평가 사례 소개 및 분석
IV. 결론

3. 1. 서론
 SW, HW의 융복합화로 시스템의 복잡성 증가
 새로운 유형의 문제 발생(문제점의 원인도 융복합화)
 SW관련 다양한 문제 발생 및 품질 비용 증가
 2004년 SW 규모 0.5Gbyte 일 때, SW 원인율 36%
 2010년 SW 규모 1.5Gbyte 이상
 자동차 고장 발생원인 중 SW비중은 50% 이상 추정
(출처 : 독일 자동차협회 2004년 보고서)

4. 1. 서론
 SW Testing의 필요성 및 의존성 지속 증가
 PL(제조물책임)법에 따라 제조자가 문제 증명 필수
 Risk기반 Testing을 통한 제품의 결함 제거, 예방 중요도 증가
회사차원의 SW Testing 역량확보는 생존과 직결
 토요타의 경우 2010년 전세계적으로 1000만대 이상 리콜(1조
3000억 이상 직접 손실, 간접 손실까지 하면 3조 이상)

5. 1. 서론
산업별 제품 개발원가 중 SW 비중 증가 추세
 국방, 항공은 11%, 의료기기는 16%, 자동차는 14% 증가(2002년
대비 2006년 비교) – 생명(안전성, safety)관련 산업의 SW증가는 테
스팅 산업의 증가와 고급화를 동반할 것으로
 최근 SW의 융복합화로 인해 Testing 업무비중은 지속 증가 추세
 중소기업에서 SW품질에 의한 문제발생은 회사의 존패와 관련
출처 : 디지털데일리 – 주력산업과 SW의 결합, ‘신융합시대’연다

6. 1. 서론
국내 SW Testing 시장 규모
 SW Testing 시장은 ’05년 2,200억원, ’09년 4,700억원, ’10년
5,200억원으로 꾸준한 성장세 예측
 국내 SW Testing 전문 기업 중에서도 직원수 300명, 매출 약
140억 기업 등장 (조직 인력 비율 : 테스터 60%, QA 25, 컨설
턴트 10%, 지원조직 5%)
 미국은 전문 SW Testing 기업 중 2008년 약 5,000억 매출 달
성 기업 등장
출처 : KATS(지식경제부 기술표준원) 기술보고서(2009.9.30 제11호)

7. 1. 서론
우리나라 대기업과 중소SW기업 간 SW공학 수준 차이
 대기업과 중소기업 간 수준차이는 최대 37.9점, 최소 20.2점
 격차는 2008년 22점, 2009년 34.5점, 2010년 25.2점
 대기업은 2008년 대비 2010년 7.0점 증가
 중소기업은 2008년 대비 2010년 3.8점 증가
 시간이 지나면 격차는 더 커질 것으로 전망
(출처 : SW공학백서 2010, 2011 – 정보통신산업진흥원 SW공학센터)

8. 1. 서론
중소기업에게 SW Testing은 제품개발 보다 중요
 대기업보다 자금력 취약 = 품질 문제 발생 시 회사 존망과 직결
 대기업과의 SW 공학 능력 격차 극복을 위해서는 ‘SW Testing
을 통한 고품질 및 고신뢰성 확보’ 절실
중소SW기업의 현실에 맞는 테스팅 역량평가 모델 필요
 대부분의 역량평가 모델 및 도구는 대기업과 Process 위주
(CMMi, SPICE, TMMi 등)
 적은 비용으로 단기간에 효과를 볼 수 있는 현장의 경험 및 사
례 중심의 역량평가 모델필요(SW공학 현장적용 지원사업 경
험, TPI의 Checklist, Key Note 등)
 객관적으로 입증이 되어 있는 역량평가 모델 고려 필요(TMMi,
TPI 등)

9. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가(Testing frontier
Capability Assessment) 서비스
 2010년 중소SW기업의 역량평가를 목적으로 개발
 TPI 및 TMMi 기반 평가 모델(Staged Model)
 Process Category 5개, Key Area 20개, 3 Level
 CheckList 42개, 100점 기준 단위 사용(가시성 확보)
 2010년 지방 소재 SW개발회사 역량평가 실시(광주, 울산, 대
구, 춘천 4개 지역 5개 업체)
 평가 1Day, 분석 및 결과 리포트 작성 약 2주 진행
 평가와 분석 결과 리포트는 이메일로 전송
 테스팅 프론티어 역량평가 서비스 무상 제공 원칙
(지방소재 중소 SW기업)

10. 2. 테스팅 프론티어 역량평가 모델 소개
기반 평가 모델 1 - TMMi(Test Maturity Model
integration)
 TMM은 일리노이 공과대학 Ilene Burnstein교수가 1996년 발
표-1998년 TMM-AM(Assessment Model)
 TMMi는 CMMI Version 1.2를 기반으로 구성
 TMMi는 5 Level로 구성(Staged Model, Top Down 방식)
 TMMi Foundation에서 유지/관리를 하고 있음(2008년 부터)

11. 2. 테스팅 프론티어 역량평가 모델 소개
기반 평가 모델 2 - TPI(Test Process Improvement)
 1997년 Koomen 만듬. 실용적이고 활용도 높음.
 2009년 11월 TPI-NEXT 발표
 프랑스의 SW Testing 전문회사인 SOGETI가 사용하는 프로세
스 개선 모델과 ToolKit 등으로 구성(임베디트 테스팅을 기반으
로 하고 있음)
 구체적인 체크리스트와 점검항목 기반 구성(Bottom Up방식)
 노키아, 소니에릭슨, 지멘스 와 같은 회사에서의 테스팅 경험
을 바탕으로 하고 있음

12. 2. 테스팅 프론티어 역량평가 모델 소개
기반 평가 모델 TMMi와 TPI 비교
TPI TMMi
운영 주체 SOGETI(회사)
TMMi Foundation(비영리조
직)
배경
임베디드 테스팅 기반
(테스터들의 활동영역 중심-
Practice 기반)
CMM 기반
(SPI, SQA들의 활동영역 중
심- Process 기반)
구성 상향식(Bottom Up) 하향식(Top Down)
구조
Scale 14개, Level 4, Key
Area 20개 …
Maturity Level 5, Process
Area, Generic Goals,
Generic Practices, Specific
Goals, Specific Practices …
적용 용이
조직 및 기업
중소 규모 Test 조직 운영 회
사, Testing 아웃소싱 업체…
전사QA 조직을 운영하는 기
업 또는 대기업 …

13. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 역량 평가 모델(TCAM) 목적
 전문인력 구인/양성이 힘든 지방 소재 SW개발 및 SW 융복합
임베디드 제품을 만드는 중소 규모의 회사 지원
 회사의 SW Testing 역량평가를 통해 현재의 강점, 약점 분석
 분석 결과를 리포트로 제공하여 기업에서 개선 시 활용 가능
 역량평가와 함께 SW공학센터에서 제공하는 오퍼링 서비스(요
구공학, 아키텍처, 코드 닥터, 테스팅 프론티어, 원포인트 클리
닉 등) 제공을 통해 기업의 SW 제품 개발 생산성 및 품질 향상
지원

14. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가 모델(TCAM) 구조
 TCA의 구조는 TMMi 처럼 성숙도 레벨을 두고, 그 아래 프로세
스 영역, Key Areas 그리고 체크포인트들로 구성
 성숙도 레벨은 Level 1 취약, Level 2 보통, Level 3 우수 분류
Maturity
Levels
Process
Areas
Key Areas
Checkpoints
Process
Areas
Key Areas
Checkpoints

15. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가 모델(TCAM) 구조
 TCA의 구조에서 프로세스 영역은 생명주기 영역, 테스팅 기법
영역, 테스팅 인프라 영역, 테스팅 조직 영역, 공통 영역 5개로
구성
Maturity
Levels
Process
Areas
Key Areas
Checkpoints
Process
Areas
Key Areas
Checkpoints

16. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가 모델(TCAM) 구조
 20개의 Key Area 마다 각각의 체크포인트와 점검사항을 두어
이를 체크하여 점수를 나오게 하였으며, 점검 내용은 우측 근
거(인터뷰/체크)에 별도 기입하여 평가의 객관성 확보에 주력
Maturity
Levels
Process
Areas
Key Areas
Checkpoints
Process
Areas
Key Areas
Checkpoints

17. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가 모델(TCAM) 구조
 100점 기준 점수는 다시 결과 상에서 표기를 Y, N, X로 함
 Y : 86점 ~ 100점(SPICE, CMMI 의 Fully Achieved 동일)
 N : 0점 ~ 85점
 X : 평가 불가

18. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가(TCA) 수행 Process
 기업의 요청은 SW공학센터 사이트 또는 신청서를 통해 진행
 역량평가 수행은 기업 방문 1일과 약 2주간 분석
 기업에서는 별도 비용 없이 신청 후 서비스를 받을 수 있음

19. 2. 테스팅 프론티어 역량평가 모델 소개
테스팅 프론티어 역량 평가(TCA) CheckList와 결과
보고서
 Checklist 는 42개(각 항목마다3개 이상 점검 항목 존재)
 결과보고서는 5개 Process Area 별 강점, 약점 분석
 50점 이하 취약부분은 개선 가이드 제공

20. 3. 테스팅 프론티어 역량평가 사례
2010년 테스팅 프론티어 역량평가(TCA) 사례 소개
 2010년 10월 ~ 12월 3개월 동안 역량평가 실시
 총 4개 지역(울산, 대구, 광주, 춘천) 5개 기업 참여
 참여기업은 30인 이하 3명 이상 소규모 SW기업(임베디즈 SW
관련 기업 1곳)
 인터뷰 및 역량평가는 2시간 ~ 8시간 소요(평균 5시간)
 기업 인터뷰 참여는 대표이사(사장), 개발자, 품질/테스트 담당
자, 기획자/마케팅 담당자, 고객 담당자를 대상으로 실시

21. 3. 테스팅 프론티어 역량평가 사례
 PA1. 생명주기와 PA2. 테스팅 기법 결과 분석
 PA1은 회사의 경영진 또는 전사 조직 점검, PA2는 품질과 테스팅 조
직 점검이 포인트
 C업체의 경우 대표이사의 의지가 강해 생명주기(PA1)에서 높은 점수
가 나왔지만, 실제 업무상에서 적용 및 수행이 미약해 테스팅 기법
(PA2)에서는 점수가 낮음
 A업체는 대기업과 관공서 SI업무를 통해 SW Testing에 대한 직원들
의 수준이 고르게 분포되어 있었음. 생명주기(PA1)와 테스팅 기법
(PA2)에서 평균에 가까운 점수를 보여줌

22. 3. 테스팅 프론티어 역량평가 사례
 PA3. 인프라와 PA5. 공통 결과 분석
 PA3은 SW Testing을 위한 환경/도구 구축, PA5는 시스템과의 Low
Level Testing 또는 Unit Testing 그리고 평가를 점검
 PA3 인프라의 경우 테스트 환경과 사무실 환경이 대부분 인터넷을
통해 Testing을 진행하는 기업들이어서 점수가 높음
 PA4는 실제 테스팅 수행과 결과 피드백 및 품질/테스팅 담당자가 문
제 해결까지 수행하는지 등에 대하여 점검하였는데 인력들의 수준이
높은 A사가 역시 높은 평가를 받음

23. 3. 테스팅 프론티어 역량평가 사례
 PA4. 테스팅 조직 결과 분석
 PA4는 SW Testing 수행 조직에서 비전과 미션 설정, 업무수행을 위
한 교육, 방법론, 의사소통 방법, 보고 체계 및 시스템 등 세부적인 내
용에 대한 점검
 이전 Process Areas에서와 비슷하지만 개인적인 역량이 잘 갖추어져
있었던 A사가 PA4에서도 높은 점수를 받음.
 테스트 방법론과 테스트웨어 부분은 경영진의 의지와 회사의 주요 매
출 도메인에 관련 도구(SW Tool) 및 프리웨어(Freeware)가 많은 기
업이 유리했음.

24. 3. 테스팅 프론티어 역량평가 사례
 전체 결과 분석
 총 평균 39.4점으로 중소기업의 SW Testing 역량은 많이 부족함
 PA2. 테스팅 기법과 PA5. 공통은 실제 SW Testing 수행에 대한 역량
이며, PA5가 중소 SW기업들에게 있어 가장 취약한 것으로 드러남
 PA4. 조직의 경우 평균은 높지만 가장 큰 편차 75.1를 보임
※ 중소 SW기업에게 있어 원활하지 못한 인력 수급을 보여주는 결과

25. 3. 테스팅 프론티어 역량평가 사례
 고역량 회사와 저역량 회사 비교 및 분석
 고 역량 회사의 평균 점수는 68.2로 Level 2 (보통)
 저 역량 회사의 평균 점수는 18.7로 Level 1 (취약)
 그래프에서 가운데 5각형이 평균 50점 Level 1을 의미하며, 최소
Level 1은 되어야 기업의 기본 역량이 갖추어 졌다고 볼수 있음
 국내 영세SW기업의 현실은 대부분이 저 역량 회사와 유사
 SW 공학의 기본 요소인 People, Process, Technique 확보 및 자체
양성이 시급

26. 3. 테스팅 프론티어 역량평가 사례
 전체 결과 분석
 총 평균 39.4점으로 중소기업의 SW Testing 역량이 전체적으로 부족
 2010년 역량평가 결과 그래프에서 공통적으로 중소SW기업들의 취
약 분야는 실제 SW Testing 수행영역인 PA5. 공통 영역
 Low Level Testing(Unit Testing 포함)과 평가는 모든 중소 SW기업에
있어 SW Testing 기본 교육과 실습을 통한 집중 강화가 필요

27. 4. 결론
더 많은 중소SW기업에 대한 역량평가와 지원
 2010년 4개 지역에서 2011년 9개 지역까지 서비스 확대(SW공학센
터 지원 : 광주, 부산, 대구, 전주, 창원, 광양, 춘천, 울산, 제주도)
 2011년 SW공학센터는 다양한 SW공학 오퍼링 서비스로 동남권과
호남권 지역SW품질역량센터를 통해 지역 SW산업 활성화를 지원 수
행(교육, 역량평가 및 컨설팅 서비스 등)
중소 SW기업의 서비스 신청 간소화
 2010년 기업에서 공문으로 신청하던 프로세스를 공문이 아닌 신청서
와 SW공학센터 포털 사이트(www.software.kr)를 통해 간단히 신청
이 가능하도록 프로세스 간소화
 기업에서 급한 사정으로 선 수행을 요청할 경우 ‘선 수행 후 신청’도
경우에 따라서 수행(최대한 빠르고, 많은 기회 제공)

28. 4. 결론
대기업과 경쟁이 가능한 고품질의 서비스 제공
 중소SW기업 차원에서 확보가 어려운 SW Testing 관련 템플릿 문서,
교육 자료, 컨설팅 서비스를 지속 제공(SW공학센터의 서비스 담당자
들은 서비스 수준 향상을 위해 대학원 및 기업체 강의 및 전문지 잡지
기고, 논문 발표 수행)
 SW공학센터 포털 사이트(www.software.kr/setools)에서는 개발자와
품질담당자들을 위한 공개SW와 한글 매뉴얼 무상 제공
역량평가 모델의 지속적 개선과 현실화 작업 진행
 SW Testing 관련 국제표준인 ISO/IEC 29119와 관련 심사모델인
ISO/IEC 33063, TMMi 그리고 TPI - NEXT와 같은 발전하는 심사 모
델들을 우리나라 중소SW기업의 현실에 맞게 적용하고 개선하는 작
업을 지속적으로 진행 예정 (관련 기관, 협회 그리고 전문가들과의 협
의를 통한 피드백 진행)

29. 4. 결론
1회성이 아닌 지속적인 서비스 제공
 대부분의 SW Testing 역량평가 모델들이 평가 후 인증서 또는 결과
보고서 제공 후 실제 개선에 대한 검증 또는 확인이 제도화 되어 있지
못함
 테스팅 프론티어 역량평가(TCA) 서비스는 6개월에서 1년 정도 지난
시점에 기업에 연락 또는 방문을 통해 기존 취약점이 실제 개선되어
기업의 SW개발 생산성과 제품 품질이 향상 되었는지 점검하는 후속
서비스를 진행 할 예정임(2010년 역량평가 서비스 수행 시 5개 신청
기업들과 향후 개선을 수행하고, 2차 역량평가 신청 진행 요청 및 예
약)
 2차 역량평가 서비스는 기존 역량평가 모델과 동일한 프로세스를 진
행할 예정이며, 기존 취약점과 개선 요청 사항 위주로 평가를 진행 할
예정 (기업에서 요청할 경우 전체 역량평가 진행을 할 수도 있음)

30. [참고문헌]
• 지식경제부 정보통신산업진흥원 (NIPA) SW공학센터, SW공학백서 2010, 2010
• 지식경제부 정보통신산업진흥원 (NIPA) SW공학센터, SW공학백서 2011, 2011
• 지식경제부 정보통신산업진흥원 (NIPA) SW공학센터, 테스팅 프론티어 서비스
교육교재, 2010
• 지식경제부 기술표준원(KATS), 기술보고서 제11호, 2009
• ISO, ISO/IEC 15504-2 Software engineering – Process assessment – Part2 :
Performing and assessment, 2003
• ISO, ISO/IEC 15504-5 Information technology – Process Assessment – Part5 :
An exemplar Process Assessment Model
• Ilene Burnstein, A Model to Assess Testing Process Maturity, 1998
• T.Koomen and M.Pol, Test Process Improvement, Addison-Wesley,1999
• Sogeti, TPI-Next – Business Driven Test Process Improvement, UTN
Publishing, 2009
• Gerrit de Vries, The What and how of testing TPI-Next and TMAP-Next related,
2010
• TMMi Fouindation, Test Maturity Model integration(TMMi) Version 3.1 , 2010
• TMMi Fouindation, TMMi Assessment Methood Application
Reeeequirements(TAMARS) , 2009