Пусть |АС| = х, |BD| = у (АС и BD касаются шара). D₁ - проекция D на плоскость, проходящую через АС параллельно BD. Имеем

$$ |CD| = x + y =\frac{2R}{cos\phi}, \;\;\; |CD_1| = 2R tg\phi $$

В \(\Delta CAD_1\) угол \(\angle{CAD_1}\) равен α или 180°-α. В соответствии с этим x и y должны удовлетворять одной из двух систем уравнений

$$ \begin{cases}x + y = \frac{2R}{cos\phi}\\x^2+y^2-2xycos\alpha = 4R^2tg^2\phi\end{cases}\qquad(1)$$

или

$$ \begin{cases}x + y = \frac{2R}{cos\phi}\\x^2+y^2+2xycos\alpha = 4R^2tg^2\phi\end{cases}\qquad(2) $$

Для системы (1) получим: \(x + у = \frac{2R}{cos\phi},\;\;\; xy = \frac{R^2}{cos^2\frac{\alpha}{2}}\);
для системы (2) \(x + у = \frac{2R}{cos\phi},\;\;\; xy = \frac{R^2}{sin^2\frac{\alpha}{2}}\).

Учитывая неравенство \((x+y)^2 \geq 4xy\), получим, что система (1) имеет решение при \(\phi\geq\frac{\alpha}{2}\), а система (2) - при \(\phi\geq \frac{\pi}{2} -\frac{\alpha}{2}\).

Поскольку объем тетраэдра ABCD равен \(\frac{1}{3}xyRsin\alpha\), получим ответ: если \(\frac{\alpha}{2}\leq\phi\lt\frac{\pi}{2}\), объем тетраэдра равен \(\frac{2}{3}R^3tg\frac{\alpha}{2}\)

если \(\frac{\pi}{2} -\frac{\alpha}{2}\leq\phi\lt\frac{\pi}{2}\), возможны два значения объема \(\frac{2}{3}R^3tg\frac{\alpha}{2}\) и \(\frac{2}{3}R^3ctg\frac{\alpha}{2}\)