ในตอนนี้เราก็มีความเข้าใจในระบบพื้นฐานที่เกี่ยวข้องกับ ระบบสมการเชิงเส้น อย่างไร ก็ตามระบบเชิงเส้นคงที่ ก็ยังคงมีความสำคัญใน Physical application มันเป็นธรรมดาที่จะมีปัญหาทางฟิสิกส์ที่นำไปสู่สูตร Ax = b ซึ่งเป็นหลักการพื้นฐานที่เข้าใจได้ตรงกัน แต่ก็ยังไม่เพียงพอเพราะ "เกณฑ์ที่ผิดพลาด(measurement error)" ในการแทนค่า A และ b ทำให้ระบบยุ่งเหยิงเพียงพอที่จะทำให้ระบบสมการขัดกัน ในสถานการณ์เช่นนั้นเราจะมองหาค่าของ x ที่มีค่า "ใกล้เคียงที่สุดเท่าที่เป็นไปได้ (as close as possible)" เมื่อวิธีการในเหตุผลที่ทำให้ค่าของ || Ax - b || เกี่ยวข้องกับ ผลคูณภายใน(inner product) ของยูคลิด ขนาดของ || Ax - b || สามารถที่จะมองให้เหมือนกับขนาดของ "error" ที่แสดงจากการพิจารณา x เหมือนกับการประมาณค่า ของระบบสมการเชิงเส้น Ax = b ถ้าระบบมั่นคงและ x เป็นคำตอบที่ถูกต้อง จะได้ค่า error เป็น 0 จาก || Ax - b || = || 0 || = 0 โดยทั่วๆ ไป ค่าที่มากกว่าของ || Ax - b || จะได้ค่าของ x ที่น้อยจะทำให้ได้คำตอบของระบบ

ข้อสังเกต เพื่อที่จะเข้าใจที่มาของเทอม Least square, ให้ e = Ax - b ที่เราสามารถที่จะมองเป็น error vector ที่เป็นผลมาจากการประมาณค่า x ถ้า e = (e₁ e₂ … e_m) จะทำให้วิธีการ Least square ทำให้ || e || = ^1/2 มีค่าน้อยที่สุด จากตรงนี้ จะทำ || e ||² = --- ด้วยเหตุนี้ เทอมนี้จึงเป็น Least squares

เพื่อที่จะแก้ปัญหาของ Least square กำหนดให้ W เป็น column space ของ A สำหรับเมตริก x ที่มีขนาดเป็น n ´ 1 ผลลัพธ์ Ax จะเป็นการรวมเชิงเส้น(Linear combination) ของ column vector ของ A ด้วยเหตุนี้ ถ้า x เปลี่ยนแปลงบน Rⁿ เวกเตอร์ Ax จะเปลี่ยนแปลงบนทุกๆ การรวมเชิงเส้น (Linear combination) ของ column vector A ที่เป็นไปได้; นั่นคือ Ax เปลี่ยนแปลงทั่วบน column space W เรขาคณิตแก้ปัญหา Least square เท่ากับเป็นการหาเวกเตอร์ x ใน Rⁿ จนกระทั่ง Ax เป็นเวกเตอร์ที่ใกล้เคียงที่สุดใน W ไปยัง b

                                                                รูปที่ 6.4.2

นี่เป็นสิ่งที่ได้มาจาก Best Approximation Theorem ที่บอกว่า เวกเตอร์ที่ใกล้เคียงที่สุดจาก W ไปยัง b เป็น orthogonal projection ของ b บน W ด้วยเหตุนี้สำหรับเวกเตอร์ x ที่จะเป็น Least square solution ของ Ax = b เวกเตอร์นี้จะต้องเป็นไปตามสมการ

                                                                Ax = proj_w b                                         (2)

ย้อนกลับ                                                                        ต่อไป