Метод наименьших квадратов

Запишетесь на полный курс Машинного обучения на Python по адресу support@ittensive.com Предположим, что у нас есть данные некоторых измерений, наблюдений или просто пары значения - переменные x и y. Выявим линейную взаимосвязь между этими переменными. Построим эти пары значений, точки (xi; yi), в прямоугольной системе координат и подберем прямую, которая ближе всего расположена к этим точкам. Согласно методу наименьших квадратов линия выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной. МНКЕсли принять уравнение прямой за y = a + bx, то нужно минимизировать сумму расстояний между каждой точкой наблюдения и этой линией, сумму следующих выражений: (yi - y)^2 = (yi - bxi - a)^2 На практике берут квадраты расстояний, чтобы дополнительно не извлекать квадратный корень: минимум и корней, и квадратов корней будет находиться в одном значении (a; b). Хорошая новость заключается в том, что у это задачи есть единственное решение - единственная прямая, минимально удаленная от точек наблюдения. Для нахождения коэффициентов a и b нужно будет взять частные производные от суммы квадратов и приравнять их нулю, итоговые значения выглядят так: Коэффициенты МНК Смысл метода наименьших квадратов Коэффициент b указывает на характер связи (зависимости) переменной y от x: если b больше 0 - то связь прямая, если b меньше 0 - обратная. Коэффициент a говорит об "остаточном" значении переменной y при отсутствии x (x = 0). Найденное уравнение является уравнением линейной регрессии y от x и может использоваться для прогнозирования значения зависимой переменной - y - при линейной экстраполяции.