地形
安倍川は、その源を大谷嶺（標高2,000m）に発する日本有数の急流土砂河川で、本川が流域の東側に偏って流れ、中河内川・足久保川・藁科川などの大きな支川はいずれも西側から流入しています。
流域の東側にある山稜は、南北へほぼ直線状に連なる急峻な山地で、北から南へ十枚山（1,726m）、真冨士山（1,343m）、竜爪山（薬師岳1,051m、文珠岳1,041m）、竜爪山の南で急に低くなり、静岡平野に至っています。流域の西側にある山稜は、笹山（1,763m）、勘行峰（1,450m）が北から南にかけて伸び、勘行峰からは天狗石山（1,366m）へと南西方向に伸びています。
安倍川は下流域においても河床勾配が1/250程度と急であり、中流域の様相のまま河口に至るため、一般的な河川に見られるような河口部の緩流域がほとんど見られません。このため、河口部においても砂に混じった礫や小石が多くある急流土砂河川です。
安倍川の河岸沿いの地形は、上流部に大谷崩の形成と関係のある砂礫段丘が発達していますが、孫佐島より下流は、概ね埋積谷の状態となっています。
牛妻より下流では、谷底平地が出現し、さらに下流に至ると扇状地性の静岡平野が開け、河口より海岸に流出した土砂は静岡・清水海岸を形成しています。
地質
安倍川流域の地質は、日本の地質構造分布からみると西南日本外帯の最東端に位置しています。西南日本外帯と東北日本外帯とを分ける糸魚川・静岡構造線は、流域の北部では東縁分水界の十枚山から竜爪山を連ねる山稜のわずかに東を南東に走り、南部では賤機山の東側に出ています。
この構造線から東の部分はフォッサマグナと呼ばれる大きな地溝帯にあたり、主として新第三紀か第四紀に属する地層岩石が分布しています。一方、この構造線から西は、より古い古第三系から古生界に属する地層が分布しています。
安倍川流域の大部分を占める瀬戸川層群は、西縁に笹山構造線、東縁に十枚山構造線が走り、これらの影響により著しく破砕を受けているため、風化しやすく壊れやすい地層になっており、日本三大崩れの１つである大谷崩に代表される崩壊地等から膨大な土砂流出が発生します。
そのため、安倍川は日本有数の急流土砂河川といわれています。