Spot 인스턴스로 나도 Tensorflow-gpu 싸게 써보자!! - 초보자가 AWS CLI를 이용하여 P2 인스턴스를 Spot Price로 launch 하기

1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
최선근
Amazon EC2에서 Tensorflow 돌려보기
AWS CLI로 Spot Fleet Request

2. 본 강연에서 다룰 내용
목차
1. Motivation - Udacity 수업
2. Spot Price란? - Region별 가격 Query하기
3. AWS CLI로 Spot Fleet Request 요청하기
4. Tensorflow Optimization on P2 Instance
5. 마무리 앞으로...

3. 1. Motivation

4. 자기소개
● 2001 - 2007 물리학 학사
● 2012 - 2014 물리학 석사
● 2006 - 2015 DRAM Application Test Engineer
● 2016 - Udacity 수강생
최선근
sunkeun.choi@gmail.com

5. Udacity 수업에서 ...
P2 Instance로 실습
그러나…
AWS Credit이...

6. Udacity 남은 수업들
남은 수업들도...

7. Deep Learning 비전문가가 공부한다는 것은
● 기존에 알려진 것을 모델을 실행시키는 것
● 새로운 모델 혹은 조합을 실험하는 것
● 다른 공부와는 다르게 공부에 돈(계산비용)
이 듭니다.
● 그렇다면 최대한 싸게!

8. 2. Spot Price란?

9. AWS On-Demand
P2.xlarge 가격이 시간당 $0.9 ( us-east-1 )

10. AWS Spot Instance
데이터 분석, 배치 작업에 적합하고
On Demand P2 가격 약 $0.9에 비하면 약 $0.3 ~ $0.45 저렴한 가격에 사용할 수
있으나....

11. AWS Spot Price
제시한 가격 보다 높으면 더이상 사용이 불가 합니다.
Spot사용은 필수로 보여 집니다.

12. Spot Instance의 단점
{
"Message": "Your Spot instance was terminated because the number of Spot requests with
equal or higher prices exceeds the available capacity in this pool.",
"Code": "instance-terminated-capacity-oversubscribed",
"UpdateTime": "2017-06-22T17:30:37.000Z"
}
Spot Price로 요청하는 경우 위의 경우 처럼 Instance가 강제 종료될 위험
추가적으로 Instance Monitoring이 필요 종료 ( 종료 2분전 Message )
언제나 종료될 수 있는 가정하에 코드 작성 및 결과물 백업을 수행
1. Spot Fleet Request 옵션중 Block Durations 이용 (최대 6시간)
2. 다른 Spot 또는 On Demand로 이동 - 단, Monitoring 필요
다른 Spot으로 이동하는 예 https://github.com/atramos/ec2-spotter

13. AWS Spot Block 소개
1. 일반적인 요청 (Request)
2. 지정한 숫자를 유지 (Maintain)
3. 시간동안 유지 (Duration) - Batch성 작업에 적합

14. Instance Limit Check!
EC2에서 Limits를 보시면 On-Demand로 사용가능한 인스턴스 개수를 알 수 있습니다.
유저가 알수는 없지만 P2의 경우 Spot Limit도 존재 한다고 하니 Request Limit Increase로 요청시 Spot
Limit을 명시하여 요청 하셔야 합니다.

15. 3. AWS CLI

16. AWS Command Line Interface
● AWS CLI Reference Site
○ http://docs.aws.amazon.com/cli/latest/reference/index.html#cli-aws
● 사용 예제 사이트
○ http://awscli.com
○ https://cloudacademy.com/blog/aws-cli-10-useful-commands/
○ https://www.codementor.io/michaelwittig/tips-and-tricks-aws-command-line-ninjas-du1089vpf
○ http://blog.xi-group.com/2015/01/small-tip-how-to-use-aws-cli-filter-parameter/
AWS 명령을 쉽게 내릴 수 있어 자동화 가능
만들어 놓으면 재사용이 가능합니다
콘솔 클릭이 처음에는 편하나
같은 클릭을 매번 하셔서서 클릭이 귀찮아 지시는
분들께...

17. Spot Fleet Request에 필요한 항목들
1. Instance Type 정하기
a. p2.xlarge
2. Region 정하기
a. Spot Fleet은 Region
b. Spot Request는 AZ
3. AMI Image 정하기
a. Amazon 제공 Image
4. Role 지정
5. 그외 Security Group (SSH), Key, Instance Profile, Userdata

18. AWS CLI - 1 Spot Price Query
한눈에 p2.xlarge를 지원하는 REGION들에 대하여 Spot 가격을 비교
EC2_TYPE=p2.xlarge
REGIONS=us-east-1 us-east-2 us-west-2 ap-southeast-2 ap-northeast-1 ap-northeast-2 eu-west-1
Instance Type Region Availability Zones 1H 30M 1H 30M
p2.xlarge us-east-1 us-east-1a 0.3870 0.3567 24 18
p2.xlarge us-east-1 us-east-1b 9.0000 9.0000 1 1
p2.xlarge us-east-1 us-east-1c 0.7704 0.6154 12 7
p2.xlarge us-east-1 us-east-1d 0.4501 0.4198 17 24
p2.xlarge us-east-1 us-east-1e 0.4368 0.3461 17 28
p2.xlarge us-east-2 us-east-2a 0.2200 0.2200 1 1
p2.xlarge us-east-2 us-east-2b 0.2690 0.2690 1 2
p2.xlarge us-east-2 us-east-2c 0.2100 0.2120 1 4
p2.xlarge us-west-2 us-west-2a 0.2671 0.2670 9 3
p2.xlarge us-west-2 us-west-2b 0.2659 0.2659 11 9
p2.xlarge us-west-2 us-west-2c 0.2702 0.2680 5 7
p2.xlarge ap-southeast-2 ap-southeast-2a 0.4610 0.4610 1 1
p2.xlarge ap-southeast-2 ap-southeast-2b 0.0000 0.0000 0 0
p2.xlarge ap-southeast-2 ap-southeast-2c 0.3100 0.3100 1 1
p2.xlarge ap-northeast-1 ap-northeast-1a 0.2495 0.2497 8 3
p2.xlarge ap-northeast-1 ap-northeast-1c 0.2500 0.2500 1 1
p2.xlarge ap-northeast-2 ap-northeast-2a 0.2490 0.2510 3 1
p2.xlarge ap-northeast-2 ap-northeast-2c 0.2500 0.2500 1 1
p2.xlarge eu-west-1 eu-west-1a 0.2490 0.2490 3 3
p2.xlarge eu-west-1 eu-west-1b 0.2500 0.2493 1 3
p2.xlarge eu-west-1 eu-west-1c 0.2352 0.2349 48 55

19. AWS CLI - 1 Spot Price Query
1. 단일 REGION, 단일 AZ에 대한 Query
2. REGION과 AZ를 Loop를 돌면서 Spot Price 확인
3. AWS CLI외에 Web API를 요청 하는 방법도 있습니다
EC2_TYPE="p2.xlarge"
REGION="us-east-1"
AZ="us-east-1a"
END_TIME=`date -u +%FT%T.000Z`
ONE_HOUR=`date -u -v-1H +%FT%T.000Z`
PRICE_LIST=`aws ec2 describe-spot-price-history
--region $REGION --availability-zone $AZ
--start-time $ONE_HOUR --end-time $END_TIME
--instance-types $EC2_TYPE --query 'SpotPriceHistory[*].SpotPrice'
--page-size 32 --product-descriptions 'Linux/UNIX' --output text`
NUM_LIST=`echo -n $PRICE_LIST | wc -w | sed -e 's/ //g'`
AVG_HOUR=`echo -n $PRICE_LIST | awk -v N=$NUM_LIST -v RS=' '
'BEGIN{T=0}{T+=$1}END{print T/N}'`
echo $AVG_HOUR

20. AWS CLI - 1 Spot Price Query
AWS CLI이외에도 AWS에서 제공하는 Wep API
SDK등을 이용하는 방법이 있습니다.
python SDK 예: https://github.com/Jakobovski/aws-spot-bot

21. AWS CLI - 2 AMI Image ID
1. Amazon에서 제공하는 Deeplearning AMI를 Region별 AMI Image를 구합니다.
2. Ubuntu 14.04와 Amazon Linux 버전을 제공합니다. TF v1.1
a. Amazon https://aws.amazon.com/marketplace/pp/B01M0AXXQB
b. Ubuntu https://aws.amazon.com/marketplace/pp/B06VSPXKDX
REGION="us-east-1"
AMI_TYPE="Ubuntu" # Allowed values are Ubuntu, Amazon
AMI_ID=`aws ec2 describe-images --output text --region $REGION
--executable-users all --query "Images[*][ImageId]"
--filters Name="owner-id",Values="898082745236"
Name="name",Values="*${AMI_TYPE}*Jun2017*"`
if [ -n "$AMI_ID" ]; then echo $AMI_ID; else "AMI_ID Not Found"; fi

22. AWS CLI - 3 Key
Key를 다운 받으려면 Console에 접근 해야 함으로
사용하고 있는 Key를 AWS에 등록 합니다.
#REGION="us-east-1"
#KEY_FILE="~/.ssh/id_rsa.pub"
#PROJECT="AWSKRUG"
KEY_ID=`aws ec2 describe-key-pairs --output text --region $REGION
--filter Name="key-name",Values="$PROJECT" --query 'KeyPairs[*].KeyName'`
if ! [ -n "$KEY_ID" ]; then echo "KeyName $PROJECT Not Found"
if [ -n "$KEY_FILE" ]; then echo "Creating Key $PROJECT"
KEY_BODY=`cat $KEY_FILE`
KEY_ID=`aws ec2 import-key-pair --region $REGION --output text
--query 'KeyName' --key-name "$PROJECT" --public-key-material
"$KEY_BODY" `
else echo "export KEY_FILE=<YOUR_KEY_FILE>";
fi;
fi; echo $KEY_ID;

23. AWS CLI - 4 Security Group
Public IP로 접근하려면 아래 포트들을 Security Group에서 허용 해야 합니다.
보안상 현재 NAT Gateway가 물려있는 공인 IP로만 허용합니다.
Jupyter Notebook:8888, TensorBoard:6006, SSH:22
SG_ID=`aws ec2 describe-security-groups --output text --region $REGION
--filter Name="group-name",Values="$PROJECT" --query "SecurityGroups[*].GroupId"`
if ! [ -n "$SG_ID" ]; then echo "Security Group $PROJECT Not Found"
echo "Creating Security Group $PROJECT"
SG_ID=`aws ec2 create-security-group --output text --region $REGION
--group-name $PROJECT --description $PROJECT`
# Get current IP Address
IP_ADDR=`curl -s checkip.amazonaws.com`
# Allowing for 22, 8888, 6006
aws ec2 authorize-security-group-ingress --region $REGION --group-name $PROJECT
--protocol tcp --port 22 --cidr "${IP_ADDR}/32"
aws ec2 authorize-security-group-ingress --region $REGION --group-name $PROJECT
--protocol tcp --port 8888 --cidr "${IP_ADDR}/32"
aws ec2 authorize-security-group-ingress --region $REGION --group-name $PROJECT
--protocol tcp --port 6006 --cidr "${IP_ADDR}/32"
fi; echo $SG_ID

24. AWS CLI - 5 Spot Fleet Request
REQ_ID=`aws ec2 request-spot-fleet --region $REGION --spot-fleet-request-config '{
"AllocationStrategy": "lowestPrice",
"IamFleetRole": "'$ROLE_ARN'",
"TargetCapacity": '$EC2_NUMBER',
"Type": "request",
"SpotPrice": "'$SPOT_PRICE'",
"LaunchSpecifications": [
{
"SecurityGroups": [
{
"GroupId": "'$SG_ID'"
}
],
"IamInstanceProfile": {
"Arn": "'$EC2_PROFILE_ARN'"
},
"ImageId": "'$AMI_ID'",
"InstanceType": "'$EC2_TYPE'",
"KeyName": "'$KEY_ID'",
"UserData": "'$USER_DATA'"
}
]
}' --query 'SpotFleetRequestId' --output text`
echo $REQ_ID
필요한 Parameter들의 값들을 구하여
( Role, Key, Security Group, Instance,
AMI, … )
request template에 변수로 넣어
request를 요청

25. AWS CLI - 5 Spot Fleet Request
Console에서 한번 Launch를 하시면 자동적으로 Role이 생성 됩니다. 또한 JSON
config를 내려 받으시면 다음에 사용하실때 유용합니다.

26. 4. Tensorflow on P2 Instance

27. http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/accelerated-computing-instances.html
AWS P2 인스턴스 - 1 NVIDIA 최적화 하기
sudo nvidia-smi -pm 1
sudo nvidia-smi --auto-boost-default=0
sudo nvidia-smi -ac 2505,875
AWS Document에서 제시한 방법으로 Nvidia Driver를 최적화

28. AWS P2 인스턴스에 Tensorflow 최적화 하기
Tensorflow를 Build Option
CUDA 계산 능력치를 P2의 K80에 설정 3.7
P2 CPU (Broadwell) 가능한 Instruction로
설정
export TF_NEED_CUDA="1"
export TF_CUDA_COMPUTE_CAPABILITIES="3.7"
export CC_OPT_FLAGS=-march="broadwell"
export TF_NEED_VERBS=0
export TF_NEED_GCP=0
export TF_NEED_HDFS=0
export TF_NEED_JEMALLOC=1
export TF_NEED_OPENCL=0
export TF_CUDA_CLANG=0
export TF_NEED_MKL=0
export TF_ENABLE_XLA=0
export TF_CUDA_VERSION=$CUDA_VERSION
export TF_CUDNN_VERSION=$CUDNN_VERSION
export PYTHON_BIN_PATH=/usr/bin/python3
export PYTHON_LIB_PATH=/usr/lib/python3/dist-packages
export GCC_HOST_COMPILER_PATH=/usr/bin/gcc
export CUDA_TOOLKIT_PATH=/usr/local/cuda
export CUDNN_INSTALL_PATH=/usr/local/cuda-8.0
./configure
bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both
--copt=-msse4.2 --config=cuda //tensorflow/tools/pip_package:build_pip_package

29. Tensorflow를 돌리면… 이랬던 것이

30. 부록 Tensorflow.blog 성능 팁
https://tensorflow.blog/2017/05/12/tf-%EC%84%B1%EB%8A%A5-%ED%8C%81-winograd-%EC%95%8C%EA%B3%
A0%EB%A6%AC%EC%A6%98-%EC%84%A4%EC%A0%95/

31. ● Spot Instance를 CLI로 Request
● AWS P2 Instance에서 좀더 Tensorflow 최적화
앞으로는...
● Clustering?, Batch?
● Nvidia-Docker bench, Slack으로 Instance 띄우기
● Deeplearning
마무리

32. @awskrug
#AWSKRUG 해시태그로 소셜 미디어에
여러분의 행사 소감을 올려주세요.