三角柱の断面を題材にした問題です。底面がどのような三角形であっても正三角形となるような断面を与えることができる、という事実の論証問題です。
《問題》
右図のような$\triangle \mathrm{ABC}$を底面とする三角柱$\text{ABC-DEF}$を考える。
（１）$\mathrm{AB=AC=5}$、$\mathrm{BC=3}$、$\mathrm{AD=10}$ とする。$\triangle \mathrm{ABC}$ と $\triangle \mathrm{DEF}$ とに交わらない平面 $\mathrm{H}$ と三角柱との交わりが正三角形となるとき、その正三角形の面積を求めよ。
（２）底面がどのような三角形であっても高さが十分に高ければ、$\triangle \mathrm{ABC}$ と $\triangle \mathrm{DEF}$ とに交わらない平面 $\mathrm{H}$ と三角柱との交わりが正三角形となり得ることを示せ。
（お茶の水女子大学2010年 理(数)第４問）
《考え方》
大きく分けて、①数式のみで処理する方針と②展開図を用いて処理する方針の２つがあります。どちらの方針でもそれほど手間は変わりませんが、（２）の証明は場合分けが必要で少々厄介です。条件から導かれる方程式が解を持つかどうかの論証を、二次関数の解の配置問題に帰着できるかがポイントになるでしょう。②の方法で解く方が見通しは良さそうですが好みの問題かもしれません。いずれにせよ、難問の類です。
取り敢えずは $\mathrm{AP}=p$、$\mathrm{BQ}=q$、$\mathrm{CR}=r$ などと置いて処理するのが一般的でしょう。（１）だけでも解き切りたい問題です。
● ● ●
①数式のみで処理する
解答例
（１）
辺$\mathrm{AD}$、$\mathrm{BE}$、$\mathrm{CF}$上にそれぞれ点$\mathrm{P}$、$\mathrm{Q}$、$\mathrm{R}$をとって、$\triangle \mathrm{PQR}$が正三角形となる条件を考える。
$\mathrm{AP}=p$、$\mathrm{BQ}=q$、$\mathrm{CR}=r$ （$p$、$q$、$r$は$10$未満の正の実数）とおくと、三平方の定理より、$$\begin{array}{l}
\mathrm{PQ}^{2}=(q-p)^{2}+5^{2}=(q-p)^{2}+25 \\
\mathrm{QR}^{2}=(r-q)^{2}+3^{2}=(r-q)^{2}+9 \\
\mathrm{RP}^{2}=(p-r)^{2}+5^{2}=(r-p)^{2}+25
\end{array}$$となる。ここで $X=q-p$、$Y=r-p$ と置くと、$$r-q=Y-X$$であるから、$$\begin{array}{ll}
\mathrm{PQ}^{2}=X^{2}+25 & \cdots ② \\
\mathrm{QR}^{2}=(Y-X)^{2}+9 & \cdots ③ \\
\mathrm{RP}^{2}=Y^{2}+25 & \cdots ④
\end{array}$$であり、$\triangle \mathrm{PQR}$が正三角形となる条件は、$$\mathrm{PQ=QR=RP}$$である。
まず、$\mathrm{PQ=RP}$と②、④より、$$X^2+25=Y^2+25$$ $$\therefore Y=\pm X$$を得る。
$Y=X$ のとき、$\mathrm{PQ=QR}$と②、③より、$$X^2+25=9$$ $$\therefore X^2=-16$$となるが、これを満たす実数$X$は存在しない。
$Y=-X$ のとき、$\mathrm{PQ=QR}$と②、③より、$$X^2+25=(-2X)^2+9$$ $$\therefore X^2=\dfrac{16}{3}$$となる。
よって、
$$(X, Y)=\left(\pm \frac{4}{\sqrt{3}}, \mp \frac{4}{\sqrt{3}}\right) \ (\text {複号同順})$$
であるから、$$(q, r)=\left(p \pm \frac{4}{\sqrt{3}}, p \mp \frac{4}{\sqrt{3}}\right) \ (\text {複号同順})$$を得る。
ここで例えば$$(p, q, r)=\left(5,5+\frac{4}{\sqrt{3}}, 5-\frac{4}{\sqrt{3}}\right)$$は条件①を満たし、このとき$\triangle \mathrm{PQR}$は正三角形となり、その面積は$$\begin{aligned}
\triangle \mathrm{PQR} &=\frac{1}{2} \cdot \mathrm{P Q} \cdot \frac{\sqrt{3}}{2}\mathrm{P Q} \\
&=\frac{\sqrt{3}}{4} \mathrm{P Q}^{2} \\
&=\frac{\sqrt{3}}{4}\left\{\left(\frac{4}{\sqrt{3}}\right)^{2}+25\right\} \\
&=\color{red}{\frac{91\sqrt{3}}{12}}
\end{aligned}$$と求められる。
（２）
$\mathrm{AB}=c$、$\mathrm{BC}=a$、$\mathrm{CA}=b$、（$a$、$b$、$c$は正の定数）とし、（１）と同様に$p$、$q$、$r$をとる。このとき三角柱 $\text{ABC-DEF}$ の高さを十分に高くするので、$$p>0,\, q>0, \, r>0 \quad \cdots ④$$として考える。
$X=q-p$、$Y=r-p$ と置くと（１）と同様にして$$\begin{array}{ll}
\mathrm{PQ}^{2}=X^{2}+c^2 & \cdots ⑤ \\
\mathrm{QR}^{2}=(Y-X)^{2}+a^2 & \cdots ⑥ \\
\mathrm{RP}^{2}=Y^{2}+b^2 & \cdots ⑦
\end{array}$$を得る。$\triangle \mathrm{PQR}$が正三角形となる条件は、$$\mathrm{PQ=QR=RP}$$である。
まず、$\mathrm{PQ=RP}$と⑤、⑦より、$$X^2+c^2=Y^2+b^2 \quad \cdots ⑧$$を得る。
また、$\mathrm{QR=RP}$と⑥、⑦より、$$Y^2-2XY+X^2+a^2=Y^2+b^2$$ $$\therefore 2XY=X^2+a^2-b^2 \quad \cdots ⑨$$を得る。
よって、⑧、⑨を満たす$X$、$Y$が存在すれば平面$H$と三角柱との交わりを正三角形とすることができる。以下、底面の三角形の辺の長さで場合分けする。
（ⅰ）$a=b$ のとき、⑨より、$$2XY=X^2$$すなわち、
$X=0$ または $X=2Y$
となる。これと⑧より、
「$X=0$ かつ $Y^{2}=c^{2}-b^{2}$」
または
「$X=2Y$ かつ $Y^{2}=\dfrac{1}{3}\left(b^{2}-c^{2}\right)$」
を得る。
よって、$a=b \geqq c$ のとき、$$Y=\sqrt{\frac{1}{3}\left(b^{2}-c^{2}\right)}, \quad X=2Y$$とし、$a=b<c$ のとき、$$Y=\sqrt{c^{2}-b^{2}}, \quad X=0$$とすればよい。
（ⅱ）$a \ne b$ のとき、⑨より、$$2 X Y-X^{2}=a^{2}-b^{2} \ne 0$$
であるから、$X \ne 0$ である。よって⑨より、$$Y=\frac{X^{2}+a^{2}-b^{2}}{2 X}$$となるから、⑧に代入して、$$X^{2}+c^{2}=\left(\frac{X^{2}+a^{2}-b^{2}}{2 X}\right)^{2}+b^{2}$$を得る。ここで、$X^2=t$（$t>0$）とおいて整理すると、$$4 t^{2}-\left(t+a^{2}-b^{2}\right)^{2}+4\left(c^{2}-b^{2}\right) t=0$$ $$\therefore \color{blue}{3 t^{2}-2\left(a^{2}+b^{2}-2 c^{2}\right) t-\left(a^{2}-b^{2}\right)^{2}=0}$$この左辺を$f(t)$と置くと、$$f(0)=-\left(a^{2}-b^{2}\right)^{2}<0$$であるから、2次方程式 $f(t)=0$ は正の解をもつ。この解を$u$とおくと、$$X=\sqrt{u}, \quad Y=\frac{u+a^{2}-b^{2}}{2 \sqrt{u}}$$とすればよい。
以上より、いずれの場合についても⑧、⑨を満たす実数 $X$、$Y$ は存在するので、題意は示された。
□
（２）の場合分けが唐突な印象を受けるかもしれませんが、⑧と⑨を同時に満たす実数$X$、$Y$の存在条件を解く必要があるため、解の配置問題っぽく処理しているだけです。（ⅱ）で登場する青色で示した二次方程式が $t>0$ で解をもつかどうかで係数について場合分けが発生します。この二次方程式ありきで「$a=b$ のとき」と「$a \ne b$ のとき」の２つの場合について考察する、という方針で解答を作っています（初めから場合分けが必要だと考えて解答を作れる受験生は少ない気がします）。
②展開図を用いて処理する
もう一つの解き方は、展開図を用いる解法です。（１）はかなりスマートに解けます。数学的な直感力に長けた人でないと、この解法を試験場で思い付くのは難しいのではないかと思います。中学・高校受験数学をやり込んできた人なら発想しやすい解法かもしれません。
解答例
（１）
平面$H$と三角柱との交わりが正三角形になるとき、平面$H$と三角柱の側面との交線を三角柱の側面の展開図に描くと、次図のようになる。
図のように長さ$x$を定めると、$\mathrm{AD=10}$より、$0<x<10$ である。いま、$\mathrm{AB=AC=5}$、$\mathrm{BC=3}$ であるから、正三角形の各辺の長さが等しいことから、$$\begin{array}{c} 5^{2}+x^{2}=3^{2}+(2 x)^{2} \\ \therefore x^{2}=\dfrac{16}{3} \\ \therefore x=\dfrac{4}{\sqrt{3}} \quad(\because 0<x<5) \end{array}$$を得る。よって正三角形の１辺は$$\sqrt{5^{2}+\left(\dfrac{4}{\sqrt{3}}\right)^{2}}=\sqrt{\dfrac{91}{3}}$$となるから、面積は面積は$$\small \begin{aligned} \frac{1}{2} \cdot \sqrt{\dfrac{91}{3}}\cdot \sqrt{\dfrac{91}{3}} \cdot \sin 60^{\circ} =\color{red}{\frac{91\sqrt{3}}{12}} \end{aligned}$$と求められる。
（２）
底面の三角形の１辺の長さをそれぞれ$a$、$b$、$c$（$a \geqq b \geqq c$）とおいても一般性を失わない。平面$H$と三角柱との交わりが正三角形になるとき、平面$H$と三角柱の側面との交線を三角柱の側面の展開図に描くと下図のようになる。
正三角形の各辺の長さが等しいことから、$$\begin{array}{l}
a^{2}+y^{2}=b^{2}+z^{2}=c^{2}+(y+z)^{2} \\
\Leftrightarrow \begin{cases}
a^{2}+y^{2}=b^{2}+z^{2} & \cdots ① \\
b^{2}+z^{2}=c^{2}+(y+z)^{2} & \cdots ②
\end{cases}\end{array}$$を得る。任意の$a$、$b$、$c$（$a \geqq b \geqq c$）に対して、①と②を同時に満たす$y$、$z$（$y \geqq 0, z \geqq 0$）が存在することを示せばよい。
ここで、②は$$y(y+2 z)=b^{2}-c^{2} \quad \cdots ③$$と変形できる。
（ⅰ）$b=c$ のとき、$y+2z>0$ であることから③より $y=0$ に限られる。このとき①より、$$z=\sqrt{a^{2}-b^{2}} \quad (\because a \geqq b)$$となるので、①と②を同時に満たす$y$、$z$（$y \geqq 0, z \geqq 0$）が存在する。
（ⅱ）$b>c$ のとき、③より $y \ne 0$ となるから②より、$$z=\frac{b^{2}-c^{2}}{2 y}-\frac{y}{2}$$となる。これと①より、$$\small \begin{array}{c} a^{2}+y^{2}=b^{2}+\left(\dfrac{b^{2}-c^{2}}{2 y}-\dfrac{y}{2}\right)^{2} \\ \therefore a^{2}-b^{2}=\dfrac{\left(b^{2}-c^{2}\right)^{2}}{4 y^{2}}-\dfrac{b^{2}-c^{2}}{2}-\dfrac{3 y^{2}}{4} \\ \therefore 3 y^{4}+2\left(2 a^{2}-b^{2}-c^{2}\right) y^{2}-\left(b^{2}-c^{2}\right)^{2}=0 \end{array}$$を得る。ここで $t=y^2$（$t>0$）と置くと$$\color{purple}{3 t^{2}+2\left(2 a^{2}-b^{2}-c^{2}\right) t-\left(b^{2}-c^{2}\right)^{2}=0}$$と書き直せる。
【以下は解法①と同様】
こちらの解法②の方が式変形の流れがスムーズかもしれません。展開図を使うと（１）が鮮やかに解決できます。（２）の紫色で示した二次方程式は解法①で出てきた青色の方程式と本質的に同じもので、係数は少し違っていますが同様に処理できます。
こうして見ると、解法②の方が図形的に題意を捉えている分、立体的なイメージは付きやすいかもしれません。例えば、底面が正三角形の三角柱（正三角柱）の断面が正三角形となるのは、断面が底面と平行であるときに限ることなどが直ちに了解できます。展開図で考えるという発想も頭の片隅に置いておきたいですね。
（コメント）
流石に数学科の試験問題というだけあって息切れしそうな論証問題でしたね。ベクトルを使って解答することもできそうですが、計算の手間は解法①と大差ない気がします。本問の類題として、2000年の東工大第3問に正三角柱の内部の直角三角形の面積に関する出題があります。