Brawny vs. Wimpy: Evaluation and Analysis of Modern Workloads on Heterogeneous Processors

Reference: V. Gupta and K. Schwan, “Brawny vs. Wimpy: Evaluation and Analysis of Modern Workloads on Heterogeneous Processors,” in 2013 IEEE International Symposium on Parallel & Distributed Processing, Workshops and Phd Forum (PDPWPF), 2013, pp. 74–83.

Summary

본 논문은 클라이언트 머신과 서버 머신에서 brawny core와 wimpy core의 성능/에너지 관련 특성을 분석한 논문이다. 저자는 먼저 brawny core와 wimpy core를 선호하는 워크로드의 특성에 대하 간략히 논한다. 그 후, 클라이언트 머신과 서버 머신에서 사용할 realistic workload를 자세히 정의하고, 이 워크로드를 직접 돌려보며 성능/에너지 특성을 도출한다.

본 논문에서 도출한 주요 성능/에너지 특성을 정리하면 다음과 같다.

• 모든 워크로드가 wimpy core에서 에너지가 절감되는 것은 아니다. 워크로드의 특성에 따라 brawny core가 성능도 좋으면서 에너지 소모량이 작은 경우도 존재한다.
• 통상적으로 IPC(instructions per cycle)가 낮은 워크로드는 memory bound한 경향이 있기 때문에 wimpy core 대비 brawny core에서 성능 향상이 낮다고 여겨지지만, wimpy core의 cache size가 작은 경우 이 관념이 깨지는 경우가 존재한다. 잦은 cache miss로 인해 wimpy core에서 성능이 매우 떨어지기 때문이다.
• Energy consumption과 IPC도 역시 뚜렷한 상관관계가 없다.
• 모바일 기기의 경우 필요 이상으로 성능을 높여봐야 유저가 인지하지 못하는 경우가 존재한다.

Discussion

방대한 양의 실험을 했음에도 불구하고 이 논문은 통찰력 있는 결론을 충분히 끌어내지 못하였다는 점에서 아쉬움이 남는다. 저자는 통상적으로 사용되는 metric들로는 각 워크로드의 power efficiency를 판별하는 것이 불가능하다는 것은 입증하였지만, 다른 대안을 제시하지 못하였다. 저자가 제안하는 스케줄러는 성능과 에너지 측면에서 큰 효용이 있지만 power efficiency를 사전에 알고 있다는 가정 하에 설계되었기 때문에 실용적이지 않다.

또 실험에서 사용되는 워크로드가 자세히 설명되지 않았고, 몇몇 워크로드의 경우 어떻게 구현되었는지 감도 잡히지 않는다는 측면에서 reproducible하지 않다는 치명적인 단점이 있다. 이는 실험의 신빙성을 크게 떨어뜨린다. 또한 서버와 클라이언트에서 사용된 몇몇 워크로드는 실제 많이 사용되는 case가 아니다. (예를 들어, 모바일 기기에서 압축을 풀거나 동영상 인코딩을 하는 작업이 자주 일어나지는 않는다. 서버에서 단일 노드에서 map reduce 알고리즘을 돌리는 것도 마찬가지다.)

하지만 학계에서의 original contribution과는 별개로, power efficiency 판별의 어려움을 실험을 통해 효과적으로 설명했다는 점에서 asymmetric multicore system에 진입하는 연구자들은 충분히 읽을만한 가치가 있다고 생각한다.