システム科学を学ぶ上で有用な教科書が、
Stephen Lynch Dynamical Systems with APplications using Matlab
Dynamical Systems with Applications using MATLAB®(amazon.co.jp)

です。MatlabだけでなくMapleやMathematicaバージョンもあります。

最初にMATLABチュートリアルの章がありますが、初心者向けのまどろっこしい説明はないので、MATLABをある程度使い慣れた人向けだと思います。

目次は

0章がMATLABとSYMBOLIC　MATH　TOOLBOXのチュートリアルで、以下、

1. 線形離散ダイナミカルシステム
2. 非線形離散ダイナミカルシステム
3. complex iterative maps
4. 電磁波とOPTICAL　RESONATORS
5. フラクタルとマルチフラクタル
6. カオス
7. 微分方程式
8. PLANER　SYSTEMS
9. 生物種間の相互作用
10. リミットサイクル
11. ハミルトン系、リャプノフ関数と安定性
12. 分岐理論
13. 三次元自律システムとカオス
14. ポアンカレマップと非自律系
15. 局所的分岐と大局的分岐
16. ヒルベルトの第16問題
17. ニューラルネットワーク
18. SIMULINK
19. 問題の回答

となっています。

ウェブ上のリソース

1. Matlab Central File Exchange Dynamical Systems with Applications using MATLAB by　Stephen Lynch：この本に出てくるMATLABのコードは、ここで入手可能です。
2. Manchester Metropolitan University　 Computing and Mathematics Staff　Dr Stephen Lynch：著者スティーブン・リンチ（Stephen Lynch）氏のウェブサイト