Meta의 HHVM 풀스택 최적화: GenAI 워크로드 대응

배경

Meta의 Web Foundation 팀이 Hack 언어 기반 모놀리식 웹 계층에서 GenAI 워크로드 최적화를 추진.

도전 과제

기존 웹서버는 수백ms 요청에 최적화됐으나 GenAI는 초~분 단위 장시간 요청 생성. I/O 대기 70%→90% 증가. 30초 타임아웃 제한이 병목.

해결 방안

5가지 최적화: 요청 타임아웃 증가(전용 테넌트), 스레드풀 크기 조정(~1000개), JIT 캐시 Jump-Start(이전 프로필 재사용), 요청 워밍업(더미 요청), 섀도우 트래픽(JIT 캐시 커버리지 유지).

결과

30% 지연시간 개선. 높은 품질의 GenAI 경험 제공과 지속 가능한 시스템 운영 간 균형 달성.

핵심 인사이트

• 1.전용 테넌트 분리로 워크로드별 맞춤 최적화 가능
• 2.기존 설계 원칙 재검토가 새 요구사항 대응의 핵심
• 3.JIT 워밍업 전략이 서비스 재시작 시 성능 저하 방지