Доказательство

Для начала рассмотрим еще 2 вспомогательных свойства:

1. Если $L \subset \Omega$ есть непрерывно дифференцируемая кривая, то ее образ $L’ = F(L)$ есть непрерывно дифференцируемая кривая.
2. Если $G$ — область и $\overline{G} \subset \Omega$ (где $\overline{G}$ — замыкание области $G$), тогда ее образ $G’ = F(G)$. Образ границы $\Omega$ есть граница $\Omega’$.

Первое свойство является простым следствием правила нахождения производной сложной функции, а второе — теоремы о неявных функциях.

Рассмотрим доказательство для плоского случая (двойных интегралов). В силу свойств непрерывных функций образ $G’$ компакта $G$ при непрерывном и взаимно однозначном отображении $F$ является компактом, а по свойствам отображения $F$, указанным выше, граница компакта $G’$ является кусочно-гладкой кривой. Кусочно-гладкая кривая имеет жорданову меру нуль, а так как ограниченное множество измеримо по Жордану тогда и только тогда, когда его граница имеет жорданову меру нуль, то компакт $G’$ измерим, а оба интеграла в формуле $(*)$ существуют как интегралы от функций, непрерывных на компактах.

Поскольку компакт $G$ лежит в открытом множестве $\Omega$, то границы этих множеств не пересекаются. Так как граница любого множества замкнута и граница ограниченного множества ограничена, то расстояние между границами множеств $G$ и $\Omega$ есть положительное число $\delta$.

Примечание №1: под разбиением множества $A$ далее будем подразумевать совокупность измеримых множеств $\{A_1, \ldots, A_n\}$, таких что $A_1\cup \ldots \cup A_n = A$ и $A_i \cap A_j = \oslash, i \ne j$. Клеткой назовем множество вида $K = \{(x_1, \ldots, x_n)| a_i \leq x_i < b_i, 1 \leq i \leq n\}$, прямоугольником — клетку в пространстве $\mathbb{R}^2$.

Пусть $P$ есть замкнутый квадрат, содержащий компакт $G$. Если разбить стороны квадрата $P$ на равные части длины $h < \delta$ (чтобы отсутствовали квадраты, содержащие одновременно элементы границ $G$ и $\Omega$), то и сам квадрат $P$ окажется разбит на квадратные клетки с площадью $h^2$. Разбиение квадрата $P$ порождает разбиение $T$ компакта $G.$ Если малый квадрат со стороной $h$ целиком лежит внутри компакта $G$, то он является элементом разбиения $T$, а если он содержит граничные точки $G$, то соответствующим элементом разбиения является пересечение этого квадрата с компактом $G.$ Отображение $F$ порождает разбиение $T’$ компакта $G’ = F(G)$, причем элементами разбиения $T’$ являются образы элементов разбиения $T$. При отбрасывании в интегральной сумме слагаемых, которым отвечают квадраты, имеющие непустое пересечение с множеством жордановой меры нуль, характер соответствующего предела при мелкости разбиения, стремящемся к нулю, не изменится (о чем свидетельствует соответствующая лемма, см. примечание №2). А значит, при написании интегральных сумм можно учитывать только слагаемые, соответствующие целым квадратам и их образам при отображении $F$, остальные квадраты будут иметь непустое пересечение с границей $G$. Так как отображение $F$ равномерно непрерывно, то мелкость разбиения $T’$ стремится к нулю, когда стремится к нулю мелкость разбиения $T$.

Если малые квадраты $P_1, \ldots, P_n$ лежат внутри компакта $G$, то
их образы $P_1′, \ldots, P_n’$ лежат внутри $G’$. Пусть $(u_i, v_i)$ — координаты точки, лежащей в левом нижнем углу квадрата $P_i$, a $(\phi(u_i, v_i),\psi(u_i, v_i))$ — образ этой точки при отображении $F$.

Тогда можем записать интегралы, входящие в формулу $(*)$ как пределы интегральных сумм:
$\iint\limits_{G’}f(x, y)\,dxdy = \lim\limits_{h \to 0} \sum\limits_{i=1}\limits^n{f(x_i, y_i,)m(P_i’)},$
$\iint\limits_G f(\phi(u, v), \psi(u, v))\left|J(u, v)\right|\,dudv =$ $\lim\limits_{h \to 0} \sum\limits_{i=1}\limits^n{f(\phi(u_i, v_i), \psi(u_i, v_i))\left|J(u_i, v_i)\right|m(P_i)}.$

Для доказательства формулы $(*)$ покажем, что разность этих интегральных сумм стремится к нулю при $h \to 0$. В силу леммы о геометрическом смысле модуля якобиана отображения,
$\left|m(P_i’) — \left|J(u_i, v_i)\right|m(P_i)\right| \leq \alpha(h)m(P_i), \lim\limits_{h \to 0} \alpha(h) = 0$.
Принимая во внимание, что $\phi(u_i, v_i) = x_i, \psi(u_i, v_i) = y_i, \left|f(x, y)\right| < M$ (последнее в силу того, что функция $f$ непрерывна на компакте, а значит и ограниченна на нем), получаем оценку для разности интегральных сумм:
$\left|\sum\limits_{i=1}\limits^n{f(x_i, y_i)m(P_i’)} — \sum\limits_{i=1}\limits^n{f(\phi(u_i, v_i), \psi(u_i, v_i))\left|J(u_i, v_i)\right|m(P_i)}\right| \leq$ $\sum\limits_{i=1}\limits^n{\left|f(x_i, y_i)m(P_i’) — f(x_i, y_i)\left|J(u_i, v_i)\right|m(P_i)\right|} =$ $\sum\limits_{i=1}\limits^n{\left|f(x_i, y_i)\left|m(P_i’) — \left|J(u_i, v_i)\right|m(P_i)\right|\right|} \leq$ $M\sum\limits_{i=1}\limits^n{\alpha(h)m(P_i)} =$ $M\alpha(h)\sum\limits_{i=1}\limits^n{m(P_i)} \leq$ $M\alpha(h)m(G)$, из которой следует, что эта разность стремится к нулю при $h \to 0$ (т.к. $M$ и $m(G)$ — константы). Теорема доказана.

Примечание №2: о геометрическом смысле модуля якобиана отображения можно прочитать, например, в курсе лекций по мат. анализу В.И. Коляда, А.А. Кореновский (т.2, стр. 219) или в Тер-Крикоров А.М. и Шабунин М.И. «Курс математического анализа» (стр. 471). Лемма об отбрасывании слагаемых в интегральной сумме также присутствует и доказана, например, в учебнике Тер-Крикорова, стр. 458.