#6 (he actualizado el post en #5 con más info)
Lo que hablas son palabras mayores. Eso no te lo vas a programar tú ni de coña y, si lo haces, va a ser peor que cualquier implementación por cualquier profesional. Créeme que es un nivel altísimo de programación lo que pretendes.
Los programas de pago por supuesto... son de pago. De los programas "hechos por ellos mismos" pues cosas como Octave llevan años de desarrollo detrás y son un proyecto enorme, me fiaría tanto como de MATLAB (de hecho sigue su sintaxis y todo programa MATLAB es ejecutable en Octave con el mismo resultado.) R que es como el MATLAB de la estadística (muy, muy recomendable), también software libre y muchas soluciones de pago (Revoluton R para Windows por ejemplo, versión free para estudiantes, gran IDE) se basan en ella.
En programas como Derive puedes dejar que el programa te despeje pero como tú dices yo no me fiaría. Al final acabas usando las suites matemáticas como una calculadora y punto.
Aún así el REPL no entra en conflicto con lo que comentas. En el REPL te programas tú todo, solo es una herramienta para facilitar la programación haciéndola dinámica, estilo caculadora. Por lo que me comentas es lo ideal para ti si quieres "ir al meollo".
Aún así tendrás que conocer cómo funciona el lenguaje por detrás (por ejemplo, las imprecisiones del punto flotante) y demás mierda que un programa como MATLAB te abstrae para que no tengas ni que pensar en ellas. Si eliges "la vía de la programación" prepárate a un horror de bits y bytes, comas flotantes, pérdidas de precisión, BigInts, excesivo uso de memoria... etc. Por ejemplo: las implementaciones normales y corrientes del seno y el coseno en los lenguajes usan coma flotante, por lo que no son precisas, así que tendrás que implementar por tu cuenta las funciones de seno y coseno.
Por cierto, Octave es software libre y está programado en C o C++ creo, así que puedes simplemente coger el código y modificarlo tú mismo.