Gradient method의 두 번째 포스팅입니다. 다섯가지 방법론이 있다고 말씀드렸는데, 지난번 포스팅에서 가장 간단한 Steepest Descent Method와 Conjugate Gradient Method에 대해 공부해보았습니다. 이번 포스팅에서는 뉴턴법(Newton's method)을 공부해보려고 합니다. 뉴턴법은 방정식 f(x)=0의 해를 근사적으로 구하는 방법으로, 너무 복잡한 방정식이라 수리적인 방법으로 접근이 어려울 때 사용하면 좋다. 현재 x값에서 x를 이동해가면서 점진적으로 해를 찾아가는 방법이다.

이번 포스팅은 최적화문제(Optimization Problem)의 Unconstrained Optimization method 중에서도 Gradient method의 다섯 가지 method에 대해 하나씩 공부해보겠습니다. 잠깐 다시 짚어보자면, 최적해를 찾기 위한 방법은 Starting point부터 점차적으로 최적해를 찾아가도록 수많은 iteration을 통해 point를 improve해 나가는 Direct한 방법과 소위 최적조건(Optimality Condition)을 만족하는 어떠한 방정식을 풀어나가는 Indirect한 방법이 있습니다. Indirect한 방법은 iteration이나 starting point가 필요없고, 최적해를 만족하는 조건이 방정식으로 정의될 수 있어야 합니다. 자, 그럼 본격..

2023년 2학기 조선해양공학과 대학원 전공 수업인 “선박 설계 자동화 특강“에서 배운 내용을 공부하면서 정리하고자 블로그 글을 써 나가보려 합니다 먼저 설계 최적화와 관련된 용어, 개념에 대해 정리한 후에 최적화 이론에 대해 하나하나 짚어볼 계획입니다. Optimization Problem이란? 우리가 문제를 풀 때, 찾아야 하는 미지수(Variable)의 수와 알고 있는 방정식(Equation)의 수가 동일하다면, 간단한 연립방정식으로 문제를 풀 수 있습니다. 근데 만약 수가 다르다면 어떨까요? Variable의 수가 Equation의 수보다 크다면, Indeterminate system이라고 합니다. 같으면 Deteminate system이라고 볼 수 있죠. Indeterminate system 문..