Scipy. Optimize. Least_Squares#

Scipy. Optimize. MAUND_SQUARES (سرگرم کننده ، x0 ، jac = '2-نقطه' ، مرز = (-inf ، inf) ، روش = 'trf' ، ftol = 1e-08 ، xtol = 1e-08 ، gtol = 1e-08 ، x_scale = 1. 0، از دست دادن = 'خطی' ، f_scale = 1. 0 ، diff_step = هیچ ، tr_solver = هیچ ، tr_options =<>، jac_sparsity = هیچ ، max_nfev = هیچ ، verbose = 0 ، args = () ، kwargs =<>) [منبع] #

یک مشکل حداقل مربعات غیرخطی را با محدودیت در متغیرها حل کنید.

با توجه به باقیمانده های F (x) (یک عملکرد واقعی M-D از متغیرهای واقعی N) و عملکرد از دست دادن Rho (های) (یک تابع مقیاس) ، حداقل_Squares حداقل محلی از عملکرد هزینه f (x) را پیدا می کند:

هدف از عملکرد از دست دادن Rho (های) کاهش تأثیر دور بر محلول است.

پارامترها: سرگرم کننده سرگرم کننده

عملکردی که بردار باقیمانده ها را محاسبه می کند ، با سرگرمی امضا (X ، *args ، ** kwargs) ، یعنی به حداقل رساندن با توجه به اولین استدلال خود ادامه می یابد. آرگومان X که به این عملکرد منتقل شده است ، یک شکل از شکل (n ،) است (هرگز یک مقیاس ، حتی برای n = 1). این باید یک آرایه 1-d از شکل (m ،) یا یک مقیاس را اختصاص داده و برگرداند. اگر آرگومان X پیچیده باشد یا عملکرد سرگرم کننده باقیمانده های پیچیده را بازگرداند ، باید همانطور که در انتهای بخش مثالها نشان داده شده است ، در یک عملکرد واقعی از آرگومان های واقعی پیچیده شود.

x0 array_like با شکل (n ،) یا شناور

حدس اولیه در متغیرهای مستقل. در صورت شناور ، به عنوان یک آرایه 1 بعدی با یک عنصر رفتار می شود.

روش محاسبه ماتریس Jacobian (یک ماتریس M-N-N ، که در آن عنصر (I ، J) مشتق جزئی F [I] با توجه به X [J] است). کلمات کلیدی یک طرح اختلاف محدود را برای برآورد عددی انتخاب می کنند. طرح "3 نقطه" دقیق تر است ، اما به دو برابر عملیات "2 امتیاز" (پیش فرض) نیاز دارد. این طرح "CS" از مراحل پیچیده استفاده می کند ، و در حالی که به طور بالقوه دقیق ترین است ، فقط در صورتی که سرگرمی به درستی ورودی های پیچیده را کنترل می کند ، قابل استفاده است و می تواند از نظر تحلیلی به صفحه پیچیده ادامه یابد. روش "LM" همیشه از طرح "2 نقطه" استفاده می کند. اگر قابل تماس باشد ، از آن به عنوان JAC (x ، *args ، ** kwargs) استفاده می شود و باید یک تقریب خوب (یا مقدار دقیق) را برای ژاکوبیان به عنوان یک آرایه_ مانند (np. atleast_2d اعمال کنید) ، یک ماتریس پراکنده (CSR_MATRIX ترجیح می دهد) بازگرداند. برای عملکرد) یا Scipy. Sparse. Linalg. LineAroperator.

محدوده های 2-tuple of array_like یا مرزها ، اختیاری

دو روش برای مشخص کردن مرزها وجود دارد:

1. نمونه کلاس مرزها

2. مرزهای پایین و بالایی در متغیرهای مستقل. پیش فرض و بدون مرز. هر آرایه باید با اندازه x0 مطابقت داشته باشد یا یک مقیاس باشد ، در حالت دوم یک محدوده برای همه متغیرها یکسان خواهد بود. برای غیرفعال کردن مرزها در همه یا برخی متغیرها از np. inf با یک علامت مناسب استفاده کنید.

الگوریتم برای انجام به حداقل رساندن.

• "TRF": الگوریتم بازتاب منطقه اعتماد ، به ویژه برای مشکلات بزرگ پراکنده با مرزها مناسب است. به طور کلی روش قوی.

• "Dogbox": الگوریتم Dogleg با مناطق اعتماد مستطیل ، مورد استفاده معمولی مشکلات کوچک با مرزها است. برای مشکلاتی در مورد جیکوبیان با کمبود رتبه توصیه نمی شود.

• "LM": الگوریتم Levenberg-Marquardt که در Minpack اجرا شد. محدودیت ها و ژاکوبیان های پراکنده را کنترل نمی کند. معمولاً کارآمدترین روش برای مشکلات کوچک و بدون محدودیت.

پیش فرض "TRF" است. برای اطلاعات بیشتر به یادداشت ها مراجعه کنید.

ftol float یا هیچ یک ، اختیاری

تحمل برای خاتمه با تغییر عملکرد هزینه. پیش فرض 1E-8 است. فرایند بهینه سازی هنگام DF متوقف می شود

اگر هیچ یک و "روش" "LM" نباشد ، خاتمه این شرایط غیرفعال است. اگر "روش" "LM" باشد ، این تحمل باید بالاتر از دستگاه اپسیلون باشد.

float xtol یا هیچ یک ، اختیاری

تحمل برای خاتمه با تغییر متغیرهای مستقل. پیش فرض 1E-8 است. شرط دقیق به روش مورد استفاده بستگی دارد:

اگر هیچ یک و "روش" "LM" نباشد ، خاتمه این شرایط غیرفعال است. اگر "روش" "LM" باشد ، این تحمل باید بالاتر از دستگاه اپسیلون باشد.

gtol float یا هیچ یک ، اختیاری

تحمل برای خاتمه توسط هنجار شیب. پیش فرض 1E-8 است. شرط دقیق به روشی که استفاده می شود بستگی دارد:

اگر هیچ یک و "روش" "LM" نباشد ، خاتمه این شرایط غیرفعال است. اگر "روش" "LM" باشد ، این تحمل باید بالاتر از دستگاه اپسیلون باشد.

x_scale array_like یا "jac" ، اختیاری

مقیاس مشخصه هر متغیر. تنظیم x_scale معادل اصلاح مجدد مشکل در متغیرهای مقیاس پذیر xs = x / x_scale است. یک دیدگاه جایگزین این است که اندازه یک منطقه اعتماد در امتداد بعد JTH متناسب با X_Scale [J] است. همگرایی بهبود یافته ممکن است با تنظیم x_scale به گونه ای حاصل شود که یک مرحله از اندازه معین در طول هر یک از متغیرهای مقیاس یافته تأثیر مشابهی در عملکرد هزینه داشته باشد. اگر روی "JAC" تنظیم شود ، مقیاس با استفاده از هنجارهای معکوس ستون های ماتریس ژاکوبیان (همانطور که در [jjmore] توضیح داده شده است) به طور تکراری به روز می شود.

ضرر Stry یا قابل تماس ، اختیاری

عملکرد از دست دادن را تعیین می کند. مقادیر کلمات کلیدی زیر مجاز است:

• "خطی" (پیش فرض): Rho (z) = z. یک مشکل حداقل مربعات استاندارد را ارائه می دهد.

• ‘soft_l1 ': rho (z) = 2*((1 + z) ** 0. 5 - 1). تقریب صاف از دست دادن L1 (مقدار مطلق). معمولاً انتخاب خوبی برای حداقل مربعات قوی است.

• "هوبر": rho (z) = z اگر z

• "Cauchy": Rho (z) = Ln (1 + Z). نفوذ شدید را به شدت تضعیف می کند ، اما ممکن است در فرآیند بهینه سازی مشکل ایجاد کند.

• "Arctan": Rho (Z) = Arctan (Z). حداکثر ضرر را در یک باقیمانده واحد محدود می کند ، دارای خواص مشابه "Cauchy" است.

اگر قابل تماس باشد ، باید یک ndarray z = f ** 2 1-d را بگیرد و یک آرایه را با شکل (3 ، متر) برگرداند که در آن ردیف 0 حاوی مقادیر عملکرد است ، ردیف 1 حاوی مشتقات اول است و ردیف 2 حاوی مشتقات دوم است. روش "LM" فقط از دست دادن "خطی" پشتیبانی می کند.

f_scale شناور ، اختیاری

ارزش حاشیه نرم بین باقیمانده های بی پروا و دورتر ، پیش فرض 1. 0 است. عملکرد از دست دادن به شرح زیر Rho_ (f ** 2) = C ** 2*rho (f ** 2 / c ** 2) ارزیابی می شود ، جایی که c f_scale است ، و rho توسط پارامتر ضرر تعیین می شود. این پارامتر هیچ تاثیری با ضرر = "خطی" ندارد ، اما برای سایر مقادیر ضرر از اهمیت اساسی برخوردار است.

max_nfev none یا int ، اختیاری

حداکثر تعداد ارزیابی عملکرد قبل از خاتمه. اگر هیچ یک (پیش فرض) باشد ، مقدار به طور خودکار انتخاب می شود:

• برای "TRF" و "Dogbox": 100 * n.

• برای "LM": 100 * n اگر JAC قابل تماس باشد و 100 * N * (N + 1) در غیر این صورت (زیرا "LM" عملکرد را به صورت تخمین ژاکوبیان شمارش می کند).

اندازه مرحله نسبی برای تقریب اختلاف محدود ژاکوبیان را تعیین می کند. مرحله واقعی به صورت x * diff_step محاسبه می شود. اگر هیچ یک (پیش فرض) باشد ، پس از آن Diff_Step به عنوان یک قدرت "بهینه" معمولی دستگاه Epsilon برای طرح اختلاف محدود مورد استفاده [NR] گرفته می شود.

tr_solver ، اختیاری

روش برای حل زیرنویس های اعتماد به منطقه ، فقط مربوط به روش های "TRF" و "Dogbox" است.

• "دقیق" برای مشکلات خیلی زیاد با ماتریس های متراکم ژاکوبیان مناسب نیست. پیچیدگی محاسباتی در هر تکرار قابل مقایسه با تجزیه ارزش مفرد ماتریس ژاکوبیان است.

• "LSMR" برای مشکلات مربوط به ماتریس های پراکنده و بزرگ ژاکوبیان مناسب است. این روش از روش تکراری Scipy. Sparse. Linalg. lsmr برای یافتن راه حل یک مشکل حداقل مربعات خطی استفاده می کند و فقط به ارزیابی محصول ماتریس وکتور نیاز دارد.

اگر هیچ یک (پیش فرض) باشد ، حل کننده بر اساس نوع ژاکوبیان در اولین تکرار انتخاب می شود.

tr_options dict ، اختیاری

گزینه های کلمه کلیدی به Solver Trust-Region منتقل شد.

• tr_solver = 'دقیق': tr_options نادیده گرفته می شود.

• tr_solver = 'lsmr': گزینه هایی برای scipy. sparse. linalg. lsmr. علاوه بر این ، روش = "TRF" از گزینه "منظم" پشتیبانی می کند (BOOL ، پیش فرض درست است) ، که یک اصطلاح منظم را به معادله عادی اضافه می کند ، که اگر Jacobian با کمبود رتبه [BYRD] (Eq. 3. 4) همگرایی را بهبود می بخشد.

ساختار کمبود ماتریس ژاکوبیان را برای برآورد اختلاف محدود تعریف می کند ، شکل آن باید (M ، N) باشد. اگر ژاکوبیان در هر ردیف فقط تعداد کمی از عناصر غیر صفر داشته باشد ، ارائه ساختار کمبود ، محاسبات را به شدت سرعت می بخشد [Curtis]. ورود صفر به این معنی است که یک عنصر مربوطه در ژاکوبیان از نظر یکسان صفر است. در صورت فراهم شدن ، استفاده از حل کننده اعتماد "LSMR" را مجبور می کند. اگر هیچ یک (پیش فرض) باشد ، از تفاوت متراکم استفاده می شود. هیچ تاثیری برای روش "LM" ندارد.

کلامی ، اختیاری

سطح کلامی الگوریتم:

• 0 (پیش فرض): سکوت کار کنید.

• 1: گزارش خاتمه را نمایش دهید.

• 2: پیشرفت را در طول تکرار نمایش دهید (با روش "LM" پشتیبانی نمی شود).

استدلال های اضافی به Fun و JAC منتقل شد. هر دو به طور پیش فرض خالی هستند. امضای فراخوان سرگرم کننده است (x ، *args ، ** kwargs) و برای JAC یکسان است.

بازگشت: نتیجه بهینه سازی نتیجه

بهینه سازی با زمینه های زیر تعریف شده:

x ndarray ، شکل (n ،)

راه حل یافت شد.

شناور

مقدار عملکرد هزینه در راه حل.

سرگرم کننده ndarray ، شکل (m ،)

بردار باقیمانده در محلول.

JAC Ndarray ، ماتریس پراکنده یا خطی ، شکل (M ، N)

ماتریس Jacobian اصلاح شده در راه حل ، به این معنا که J^t J یک تقریب گاوس-نیوتن از هسیان از عملکرد هزینه است. نوع همان موردی است که توسط الگوریتم استفاده می شود.

Grad ndarray ، شکل (M ،)

شیب عملکرد هزینه در راه حل.

شناور بهینه

اندازه گیری بهینه مرتبه اول. در مشکلات نامشخص ، همیشه یک هنجار یکنواخت شیب است. در مشکلات محدود ، این مقدار است که در طول تکرار با GTOL مقایسه شد.

Active_mask ndarray از int ، شکل (n ،)

هر مؤلفه نشان می دهد که آیا یک محدودیت مربوطه فعال است (یعنی اینکه آیا یک متغیر در محدود است):

• 0: محدودیت فعال نیست.

• -1: یک محدوده پایین فعال است.

• 1: یک حد بالایی فعال است.

ممکن است برای روش "TRF" تا حدودی دلخواه باشد زیرا دنباله ای از تکرارهای کاملاً عملی را ایجاد می کند و Active_Mask در یک آستانه تحمل تعیین می شود.

تعداد ارزیابی عملکرد انجام شده است. روشهای "TRF" و "Dogbox" ، بر خلاف روش "LM" ، خواستار تقریب عددی Jacobian نیست.

njev int یا هیچ یک

تعداد ارزیابی های ژاکوبیان انجام شده است. اگر تقریب عددی Jacobian به روش "LM" استفاده شود ، به هیچ وجه تنظیم نشده است.

دلیل خاتمه الگوریتم:

• -1: وضعیت پارامترهای ورودی نادرست از minpack بازگردانده شد.

• 0: از حداکثر تعداد ارزیابی عملکرد فراتر رفته است.

• 1: شرایط خاتمه GTOL برآورده می شود.

• 2: شرایط خاتمه FTOL برآورده می شود.

• 3: شرایط خاتمه XTOL برآورده می شود.

• 4: هر دو شرایط خاتمه FTOL و XTOL راضی هستند.

توضیحات کلامی دلیل خاتمه.

True if one of the convergence criteria is satisfied ( status>0)

یک بسته بندی میراث برای اجرای Minpack الگوریتم Levenberg-Marquadt.

به حداقل رساندن مربعات حداقل برای یک مشکل متناسب با منحنی اعمال می شود.

روش "LM" (Levenberg-Marquardt) یک بسته بندی را بیش از الگوریتم های حداقل مربعات اجرا شده در Minpack (LMDER ، LMDIF) می نامد. این الگوریتم Levenberg-Marquardt را به عنوان یک الگوریتم نوع اعتماد به منطقه تهیه می کند. این اجرای بر اساس کاغذ [jjmore] است ، با بسیاری از ترفندهای هوشمند بسیار قوی و کارآمد است. این باید اولین انتخاب شما برای مشکلات نامشخص باشد. توجه داشته باشید که از مرزها پشتیبانی نمی کند. همچنین ، وقتی m کار نمی کند

روش "TRF" (منطقه اعتماد بازتابنده) با فرآیند حل یک سیستم معادلات ایجاد می شود ، که شرط بهینه سازی مرتبه اول را برای یک مشکل به حداقل رساندن محدود شده محدود می کند که در [Stir] فرموله شده است. این الگوریتم به طور مکرر ، زیرنویس های اعتماد به منطقه را که توسط یک اصطلاح درجه دوم مورب و با شکل اعتماد به نفس تقویت می شود ، حل می کند که با فاصله از مرزها و جهت شیب تعیین می شود. این پیشرفت ها به جلوگیری از انجام مراحل مستقیم به مرزها و کاوش در کل فضای متغیرها کمک می کند. برای بهبود بیشتر همگرایی ، الگوریتم جهت های جستجو را که از مرزها منعکس شده است ، در نظر می گیرد. برای اطاعت از نیازهای نظری ، الگوریتم تکرار را به شدت امکان پذیر نگه می دارد. با استفاده از زیرمجموعه های متراکم Jacobians Trust-Rection با روشی دقیق بسیار شبیه به روش شرح داده شده در [JJmore] (و در Minpack) حل می شوند. تفاوت از اجرای minpack در این است که تجزیه ارزش منفرد یک ماتریس ژاکوبیایی یک بار در هر تکرار انجام می شود ، به جای تجزیه QR و سری از بین بردن چرخش Givens. برای ژاکوبیان های بزرگ پراکنده از یک رویکرد زیر فضای 2 بعدی برای حل زیرزمین های اعتماد به منطقه استفاده می شود [Stir] ، [Byrd]. فضای زیرزمینی توسط یک شیب مقیاس پذیر و یک راه حل تقریبی گاوس-نیوتن تحویل داده شده توسط Scipy. Sparse. Linalg. lsmr ارائه می شود. هنگامی که هیچ محدودیتی اعمال نمی شود ، الگوریتم بسیار شبیه به Minpack است و به طور کلی عملکرد قابل مقایسه ای دارد. این الگوریتم در مشکلات بی حد و مرز و محدود کاملاً قوی عمل می کند ، بنابراین به عنوان یک الگوریتم پیش فرض انتخاب می شود.

روش "Dogbox" در یک چارچوب منطقه اعتماد فعالیت می کند ، اما مناطق اعتماد مستطیلی را بر خلاف بیضوی های معمولی [Voglis] می داند. تقاطع یک منطقه اعتماد فعلی و مرزهای اولیه دوباره مستطیل است ، بنابراین در هر تکرار یک مشکل به حداقل رساندن درجه دوم با محدودیت های محدود تقریباً با روش Dogleg Powell [NUMOPT] حل می شود. مرحله مورد نیاز Gauss-Newton را می توان دقیقاً برای Jacobians متراکم یا تقریباً توسط Scipy. Sparse. Linalg. lsmr برای Jacobians پراکنده بزرگ محاسبه کرد. این الگوریتم احتمالاً همگرایی آهسته ای نشان می دهد که رتبه ژاکوبیان کمتر از تعداد متغیرها باشد. این الگوریتم اغلب در مشکلات محدود با تعداد کمی از متغیرها از "TRF" بهتر است.

توابع از دست دادن قوی همانطور که در [BA] شرح داده شده است ، اجرا می شوند. ایده اصلاح یک بردار باقیمانده و یک ماتریس ژاکوبیان در هر تکرار به گونه ای است که محاسبه شیب و تقریب هسیان Gauss-Newton با گرادیان واقعی و تقریب هسی از عملکرد هزینه. سپس الگوریتم به روشی عادی پیش می رود ، یعنی توابع از دست دادن قوی به عنوان یک بسته بندی ساده بر روی الگوریتم های حداقل مربعات استاندارد اجرا می شوند.

جدید در نسخه 0. 17. 0.

M. A. Branch ، T. F. Coleman ، and Y. Li ، "یک روش شیب زیر فضای ، فضای داخلی و کونژوگه برای مشکلات به حداقل رساندن محدودیت محدود در مقیاس بزرگ ،" مجله SIAM در مورد محاسبات علمی ، جلد. 21 ، شماره 1 ، صص 1-23 ، 1999.

ویلیام اچ. آل. ، "دستور العمل های عددی. هنر محاسبات علمی. چاپ سوم "، ثانیه. 5. 7

R. H. Byrd ، R. B. Schnabel و G. A. Shultz ، "راه حل تقریبی مشکل منطقه اعتماد با به حداقل رساندن بیش از زیر فضای دو بعدی" ، ریاضی. برنامه نویسی ، 40 ، صص 247-263 ، 1988.

A. Curtis ، M. J. D. Powell ، and J. Reid ، "برآورد ماتریس های پراکنده ژاکوبیان" ، مجله انستیتوی ریاضیات و کاربردهای آن ، 13 ، صص 117-120 ، 1974.

J. J. More ، "الگوریتم Levenberg-Marquardt: اجرای و نظریه" ، تجزیه و تحلیل عددی ، ویرایش. G. A. Watson ، یادداشت های سخنرانی در ریاضیات 630 ، Springer Verlag ، صص 105-116 ، 1977.

C. Voglis و I. E. Lagaris ، "یک رویکرد Dogleg منطقه اعتماد مستطیل برای بهینه سازی غیر خطی محدود و محدود" ، کنفرانس بین المللی WSEAS در مورد ریاضیات کاربردی ، CORFU ، یونان ، 2004.

J. Nocedal و S. J. Wright ، "بهینه سازی عددی ، چاپ 2" ، فصل 4.

B. Triggs ET. al. ، "تنظیم بسته نرم افزاری - یک سنتز مدرن" ، مجموعه مقالات کارگاه بین المللی الگوریتم های ویژن: نظریه و عمل ، صص 298-372 ، 1999.

در این مثال حداقل عملکرد Rosenbrock را بدون محدودیت در متغیرهای مستقل می یابیم.

توجه کنید که ما فقط بردار باقیمانده ها را ارائه می دهیم. این الگوریتم عملکرد هزینه را به عنوان مجموعه ای از مربع های باقیمانده می سازد ، که عملکرد Rosenbrock را ارائه می دهد. حداقل دقیق در x = [1. 0 ، 1. 0] است.

We now constrain the variables, in such a way that the previous solution becomes infeasible. Specifically, we require that x[1]>= 1. 5 ، و x [0] بدون محدودیت باقی مانده است. برای این منظور ، پارامتر مرزها را به حداقل_سکورها در محدوده فرم = ([-np. inf ، 1. 5] ، np. inf) مشخص می کنیم.

ما همچنین ژاکوبیان تحلیلی را ارائه می دهیم:

با هم قرار دادن این همه ، می بینیم که راه حل جدید در محدوده نهفته است:

اکنون ما یک سیستم معادلات را حل می کنیم (به عنوان مثال ، عملکرد هزینه باید حداقل صفر باشد) برای یک تابع با ارزش بردار Tridiagonal با ارزش 100000 متغیر:

ماتریس ژاکوبیان مربوطه پراکنده است. ما به الگوریتم می گوییم که آن را با تفاوت های محدود تخمین زده و ساختار کمبود ژاکوبیان را برای سرعت بخشیدن به سرعت این روند فراهم می کند.

بیایید یک مشکل مناسب برای منحنی را با استفاده از عملکرد ضرر قوی برای مراقبت از Outries در داده ها حل کنیم. عملکرد مدل را به عنوان y = a + b * exp (c * t) تعریف کنید ، جایی که t یک متغیر پیش بینی کننده است ، y یک مشاهده است و a ، b ، c پارامترهایی برای تخمین هستند.

ابتدا عملکردی را که داده ها را با سر و صدا و دور ایجاد می کند ، تعریف کنید ، پارامترهای مدل را تعریف کنید و داده ها را تولید کنید:

عملکرد را برای محاسبه باقیمانده ها و برآورد اولیه پارامترها تعریف کنید.

یک راه حل استاندارد حداقل مربعات را محاسبه کنید:

اکنون دو راه حل را با دو عملکرد مختلف از دست دادن قوی محاسبه کنید. پارامتر F_SCALE روی 0. 1 تنظیم شده است ، به این معنی که باقیمانده های این ماده به طور قابل توجهی از 0. 1 تجاوز نمی کنند (سطح نویز مورد استفاده).

و در آخر ، تمام منحنی ها را ترسیم کنید. ما می بینیم که با انتخاب یک ضرر مناسب می توانیم حتی در حضور Outliers قوی ، تخمین ها را نزدیک به مطلوب کنیم. اما به خاطر داشته باشید که به طور کلی توصیه می شود که ابتدا ضررهای "soft_l1" یا "هوبر" را امتحان کنید (در صورت لزوم) زیرا دو گزینه دیگر ممکن است در فرآیند بهینه سازی مشکل ایجاد کند.

در مثال بعدی ، ما نشان می دهیم که چگونه عملکردهای باقیمانده با ارزش پیچیده متغیرهای پیچیده را می توان با حداقل_سکورها بهینه کرد (). عملکرد زیر را در نظر بگیرید:

ما آن را به تابعی از متغیرهای واقعی می پردازیم که با استفاده از قطعات واقعی و خیالی به عنوان متغیرهای مستقل ، باقیمانده های واقعی را برمی گرداند:

بنابراین ، به جای عملکرد اصلی M-D از متغیرهای پیچیده N ، ما یک عملکرد واقعی 2M-D از متغیرهای واقعی 2N را بهینه می کنیم: